阿里巴巴等开源语音情感基座模型emotion2vec
情感识别技术在各种场景中都有广泛的应用,如客服机器人根据客户语气调整策略、智能助手根据用户情绪提供建议、情感健康应用监测用户情感状态。为了支持情感理解,上海交通大学、阿里巴巴、复旦大学和香港中文大学的研究者联合开发了通用的语音情感表征模型 emotion2vec。
这个模型利用自监督学习方法在大量无标记的公开情感数据上进行预训练,成功学习到高度通用的语音情感特征。经过多语言和不同场景数据集测试,emotion2vec 在多种情感任务上表现超越了现有技术,为各种情感理解场景提供强大支持,有望提升用户体验和满意度。
基于 emotion2vec,研究者们进一步开发了语音情感识别基座模型。首先在语音情感识别学术数据集上对 emotion2vec 进行 fine-tune,然后对15万小时中英数据进行标注,筛选文本情感与语音情感相同且置信度高的数据,再次 fine-tune emotion2vec,得到该版本权重。相较于以往工作,通过迭代训练和大幅增加数据量,这个模型可作为语音情感识别的基座模型,已经开源并在 modelscope 上线体验 demo。
emotion2vec 的总体框架包括句子级别损失、帧级别损失和在线蒸馏。句子级别损失通过均方误差计算整体全局情绪,包括单嵌入、块嵌入和全局嵌入三种方法。帧级别损失设计为逐帧任务,学习上下文情绪信息。在线蒸馏是一种自监督学习策略,学生网络通过反向传播更新参数,教师网络通过指数移动平均更新参数,促使模型不断学习提升情感特征捕捉和理解能力。
实验结果显示,emotion2vec 在 IEMOCAP 数据集上表现最佳,性能超越其他 SSL 预训练模型和专家模型。在其他主流英语数据集上也展现出优异泛化能力,证明了其在不同环境中的先进性能。这表明 emotion2vec 不仅在训练数据集上表现优秀,还能适应不同录音环境,为多样情感任务提供支持。
emotion2vec通用语音情感表征模型:
https://www.modelscope.cn/models/iic/emotion2vec_base/summary
emotion2vec语音情感识别基座模型在线体验:
https://www.modelscope.cn/models/iic/emotion2vec_base_finetuned/summary
论文链接:
https://arxiv.org/abs/2312.15185
开源代码仓库:
https://github.com/ddlBoJack/emotion2vec
微软安全高管称生成式人工智能是“超级武器”
**划重点:**1.🌐微软安全高管强调生成式人工智能对网络安全至关重要,将其描述为“超级武器”。2.🚀生成式人工智能被用于以机器速度和规模进行网络防御,尤其在面临网络安全人才短缺的情况下发挥关键作用。3.🤝微软强调与15,000家公司和组织的合作,强调打击网络犯罪需要深度协作和伙伴关系。站长网2023-11-28 16:51:080000美国政府拟出台新规定,要求对使用人工智能的算法进行评估和监管
划重点:-美国政府计划出台新规定,要求对在医疗保健、执法和住房领域使用的算法进行评估,以防止潜在的歧视或其他对人权产生不良影响。-新规定可能会迫使美国政府在AI方面采取改变,例如FBI使用的面部识别技术,该技术因未采取国会要求的措施以保护公民自由而受到批评。-新规定将要求政府机构在2024年8月之前评估现有算法,并停止使用不符合规定的算法。站长网2023-11-02 10:55:390000苹果禁用ChatGPT,为防机密泄露,大模型版Siri即将升级推出
前脚ChatGPT刚刚上线iOS嗨翻全球,火速霸榜APPStore;后脚却曝出消息——苹果自家员工不能用ChatGPT,而且已经好几个月了。这事儿马上引发巨大讨论。要知道,从ChatGPT趋势到来后,苹果就几乎保持“隐身”,好不容易iPhone拥抱ChatGPT了,现在好像又泼了盆冷水。有人已经开始嘲讽:苹果是害怕员工发现AI真的有用吗?所以他们要用自己的?最好别像Siri那样。站长网2023-05-21 09:57:050000ChatGPT 将日本推动人工智能应用的数字部长识别为首相
日本数字化转型大臣表示,ChatGPT未能正确识别他的身份。他在接受彭博电视采访时表示:「我问ChatGPT谁是河野太郎,它给出的答案是错误的,所以你需要小心」。河野太郎是日本数字化转型大臣的名字,他希望自己的名字按日本姓氏排列方式书写。站长网2023-05-15 14:54:390000一加 Ace 3V 今日开售:搭载骁龙 7+ Gen 3 售价1999元起
今日10点,一加Ace3V手机将在全平台正式开启首销,全球首发搭载骁龙7Gen3处理器,售价仅1999元起,为消费者带来前所未有的性价比之选。站长网2024-03-25 12:02:180000