Hugging Face研究人员推语音识别模型Distil-Whisper 速度提高、参数减少
划重点:
⦁ Hugging Face研究人员利用伪标记创建了一个庞大的开源数据集,用于提炼Whisper模型的较小版本,称为Distil-Whisper。
⦁ Distil-Whisper在挑战性的声学条件下保持了Whisper模型的韧性,同时减轻了长篇音频中的错觉错误。
⦁ 自动语音识别(ASR)系统已达到人类水平的准确度,但由于预训练模型的不断增大,在资源受限的环境中面临挑战。
Hugging Face研究人员最近解决了在资源受限环境中部署大型预训练语音识别模型的问题。他们通过创建一个庞大的开源数据集,使用伪标记的方法,提炼出了Whisper模型的较小版本,称为Distil-Whisper。
图源备注:图片由AI生成,图片授权服务商Midjourney
Whisper语音识别变压器模型是在68万小时的嘈杂互联网语音数据上进行了预训练。它包括基于变压器的编码器和解码器组件,在零调优的情况下取得了竞争激烈的结果。而Distil-Whisper是通过使用伪标记进行知识提炼得到的紧凑版本。
Distil-Whisper在挑战性的声学条件下保持了Whisper模型的韧性,同时减轻了长篇音频中的错觉错误。这项研究引入了一种针对语音数据的大规模伪标记方法,这是一个尚未充分开发但颇具前景的知识提炼途径。
自动语音识别(ASR)系统已经达到了人类水平的准确度,但由于预训练模型的不断增大,在资源受限的环境中面临挑战。Whisper作为一个大型预训练ASR模型,在各种数据集上表现出色,但在低延迟部署方面可能更实用。而知识提炼在压缩自然语言处理变压器模型方面已经得到了有效应用,但在语音识别中的运用尚未得到充分探讨。
与原始 Whisper 模型相比,源自知识蒸馏的 Distil-Whisper 显着提高了速度并减少了参数,同时在具有挑战性的声学条件下保持了弹性。它的加速速度提高了5.8倍,参数减少了51%,在零样本场景下的分布外测试数据上实现了不到1% 的 WER。distil-medium.en 模型的 WER 稍高,但直接推理能力提高了6.8倍,模型压缩率提高了75%。Whisper 模型在长格式音频转录中容易出现幻觉错误,而 Distil-Whisper 可以减轻这些错误,同时保持有竞争力的 WER 性能。
Distil-Whisper 是通过知识蒸馏实现的 Whisper 模型的紧凑变体。这种创新方法在速度和参数减少方面产生了显着的好处,与原始 Whisper 模型相比,Distil-Whisper 速度更快,参数更少。尽管 WER 稍高,但 distil-medium.en 模型提供了更直接的推理和实质性的模型压缩。
项目网址:https://github.com/huggingface/distil-whisper
热门5G手机市占率排名:华为P40 Pro国产机 5G平分天下
快科技4月30日消息,日前,每日互动发布《2023年一季度5G手机报告》,报告显示,2023年一季度5G手机在智能手机市场占有率达48.2%,同比增长32.8%。具体来看,iPhone5G手机以20.8%的市占率排名第一,vivo以19.0%市占率排名第二,OPPO5G手机排名第三,市占率达16.2%,荣耀第四,市占率12.9%,华为5G手机虽然断更”,但市占率依然有12.6%,进入前五。站长网2023-05-12 20:38:180000微软悄悄发布 Windows Copilot 预览版 向所有 Windows Insiders 成员开放
站长之家(ChinaZ.com)7月18日消息:在6月29日,微软向WindowsInsiders计划的DevChannel成员发布了一次重大的Windows11更新。DevChannel版本23493中有许多新功能,其中最重要的是WindowsCopilot,这是一款生成型AI助手,首次在微软的Build2023开发者大会上宣布。站长网2023-07-18 12:30:5200002023,风起男频
无论是长剧、动漫、游戏,还是短剧和互动游戏,都需要有丰富的IP池为内容开发提供原点,满足市场不断提升的题材深度、类型创新性的要求。同时,AI技术对内容制作门槛的降低,让内容创作向轻量化,对IP的需求也会进一步提升。站长网2023-11-21 18:14:550000美国最大健康保险公司使用90%错误率的AI算法拒绝医疗赔付,遭到诉讼指控
#划重点1.美国最大的医疗保险公司UnitedHealthcare被指控使用一个存在90%错误率的AI算法,绕过医生的判断,错误地拒绝向年长患者提供关键医疗保障。站长网2023-11-17 15:04:110000Intel跳票两年的四代至强恢复出货
针对IntelSapphireRapids四代可扩展至强处理器存在严重Bug的报道,Intel发言人表示他们已经解决了问题并恢复了出货。这一Bug主要影响了四代至强MCC版本的部分型号,可能会导致系统操作中断。为了确保系统的稳定性,Intel采取了暂停出货的措施,并认真评估了固件修复方案。经过固件更新后,他们确认问题已完美解决,因此已经恢复了所有型号的出货,并与客户合作提供了必要的固件更新。站长网2023-07-10 09:15:480000