多模态神经网络SALMONN 能够理解声音世界的AI模型
站长网2023-10-25 12:56:350阅
SALMONN是一个多模态神经网络,能够直接处理和理解包括语音、音频事件和音乐在内的一般音频输入,并在多种语音和音频任务上取得竞争性表现。
论文地址:https://arxiv.org/pdf/2310.13289v1.pdf
SALMONN采用了两个互补的音频编码器,一个用于处理语音,另一个用于处理非语音音频事件,以实现对各种音频任务的优越性能。
论文提出了激活调整阶段,以解决SALMONN在训练中过度拟合到某些任务的问题,该阶段能够使SALMONN具备跨模态的新能力,如问答和叙述。这一研究有望推动具有通用听觉能力的人工智能的发展。
0000
评论列表
共(0)条相关推荐
京东618:苹果大额券即领即用 iPhone14系列至高优惠1700
京东618宣布,从5月29日开始,用户可以在京东自营的Apple产品旗舰店搜索“苹果大额券”,解锁全系列Apple产品的大额优惠。站长网2023-05-29 17:42:080000Anthropic计划为Claude增加图像识别能力
**划重点:**1.🌐Anthropic公司计划为其聊天机器人Claude添加图像识别功能。2.🚀目前,Claude仅能与文本进行交互,但该更新将使其能够分析图像,与竞争对手ChatGPT和Bard保持一致。3.💰Anthropic已获得来自Amazon和Google等大公司的支持,预计2024年收入将达到50亿美元。站长网2024-01-23 09:45:000001谷歌将为广告商带来一系列生成式人工智能功能
站长之家(ChinaZ.com)11月8日消息:谷歌发布博客文章宣布,正在推出一系列新的生成式人工智能工具,旨在创造广告内容,从撰写出现在搜索结果旁的标题和描述,到创建和编辑配图。图片来自Google谷歌正在将此工具推广给广告代理机构以及没有内部创意团队的企业。广告商可以使用文本提示来迭代他们生成的文本和图像,直到找到他们喜欢的内容。站长网2023-11-08 10:02:080000工信部正式发布小米SU7产品公告 小米汽车续航信息公布
近日,小米SU7车型的配置信息出现在工信部发布的免征车辆购置税的新能源汽车车型目录中,引起了广泛关注。据公告显示,该车将由北京汽车集团越野车有限公司生产,提供两个版本,主要区别在于电池包容量和续航里程。站长网2023-12-13 08:27:370000研究表明AI可以帮助发电厂捕获二氧化碳,减少36%电力消耗
**划重点:**-🌐科学家利用人工智能(AI)调整实际燃煤电厂系统,成功捕获更多二氧化碳(CO2)同时减少36.3%电力消耗。-🌿通过模型预测,研究团队实现在更少CO2或可再生能源供应时减少水泵用量,提高捕获效率。-🏭研究结果发表在《ReactionChemistry&Engineering》期刊,为行业可持续发展及联合国可持续发展目标做出贡献。站长网2024-01-16 10:59:510000