WhisperKit开源!可在iPhone和Mac流畅体验实时语音转录
划重点:
- WhisperKit是Argmax公司推出的开源项目,旨在实现苹果芯片上的实时语音转文本,通过多项优化提高性能。
- 该项目采用MIT许可证,提供Swift包、iOS和macOS示例应用以及Python工具,为开发者提供最大便利。
- WhisperKit的设计原则包括灵活性、可扩展性、可预测性,以及专注于实时性能。
由于对Whisper推理在生产中的迅速增长需求,Argmax公司决定将其作为首个项目,并于宣布将WhisperKit项目以MIT许可证的形式开源,进入beta测试阶段。
WhisperKit是一个用于实现在设备上进行语音推理的开源工具,旨在通过最小的摩擦和最大的性能提高,使开发者能够轻松改进和部署快速、免费且几乎无错误的翻译和转录服务。
简单的说,WhisperKit可以在 iPhone 上运行的Whisper实时推理软件,可以实时将声音转成对应的文字,想做类似实时翻译工具的可以关注一下。

该项目提供了Swift包,只需两行代码即可在应用中实现Whisper推理,同时还附带了iOS和macOS的示例应用,方便开发者测试。为了优化和评估Whisper在Mac上的性能,还提供了Python工具。
WhisperKit的设计原则包括灵活性、可扩展性、可预测性和自动部署。该项目的设计使得开发者能够自由组合或隔离GPU和神经引擎的利用,以实现最佳的能效和最低的延迟。同时,WhisperKit被模块化为Swift协议,通过实现自定义行为的协议扩展,降低了扩展的难度。

在实现性能方面,WhisperKit的重点是在苹果芯片上实现最低延迟和最高吞吐量。特别是针对最具挑战性的openai/whisper-large-v3变体进行了优化。通过优化音频编码器和文本解码器,WhisperKit在iPhone12到15上取得了1.85x至2.85x的速度提升。
为了实现实时性能,WhisperKit克服了Whisper不设计用于低延迟音频处理的困难。通过在语音转录过程中定期积累足够的音频,对音频进行预处理和使用优化的编码器和解码器,WhisperKit实现了实时语音转文本的目标。
除此之外,WhisperKit还通过在编译时预先计算特殊标记的KV缓存值,进一步提高了性能。这项优化使得在流式模式下每秒可处理9-15个文本标记,足以满足日常语音需求。
在稳定版发布之前,WhisperKit计划引入性能报告创建、异步批处理预测、watchOS示例应用以及Metal-based推理引擎等功能。
项目入口:https://top.aibase.com/tool/whisperkit
谷歌要用AI写新闻,只因为被海外媒体折腾烦了
自ChatGPT走红以来,尝试用AI、而非人工编辑生成内容的网站可谓是有如过江之鲫,然而这些尝试的结果似乎都不算太好。如今轮到谷歌下场了,近日《纽约时报》援引相关消息人士透露的信息显示,谷歌方面正在测试一款借助AI技术制作新闻报道的产品,并已面向部分业内高管进行了演示。站长网2023-07-24 15:03:350000推动人工智能革命的英伟达与其他硅谷科技公司不同:继续采用灵活工作政策
站长之家(ChinaZ.com)10月16日消息:许多硅谷的大科技公司一直在试图让员工重新回到办公室,通常在这个过程中使用各种威胁手段。但是,英伟达,其芯片正在推动人工智能革命,不强制执行严格的办公室返工要求。站长网2023-10-16 10:38:430000我在TikTok上卖车给老外,三个月入账2000万
抱着“反正亏不了多少钱”的心态,安岚(化名)在TikTok上试着把中国汽车卖给老外。短短一个季度,她就拿下了2000万元的营收,而投入仅2000元左右。在此之前,她从未有过任何销售工作经验。去年8月初,安岚带着一身的疲惫从某互联网大厂裸辞,“想躺一段时间”。但一条新闻让她打消了休息的念头:2023年上半年,中国汽车出口量同比增超70%。“我一直以为,中国汽车在国外卖不动的。”站长网2024-03-14 14:05:270001伦敦证券交易所正与微软合作 创建定制的生成式AI模型
据FINANCIALTIMES消息,伦敦证券交易所集团正在与微软和多家银行合作,创建定制的生成式人工智能模型,这显示了金融服务业正在寻求利用这项技术,而不暴露自己的专有数据。OpenAI去年推出的ChatGPT引发了对生成式AI的浓厚兴趣,虽然许多金融服务公司对其潜在的好处感兴趣,但他们不愿意在模型中输入机密信息,因为这些模型会不断地从输入的数据中学习。站长网2023-08-04 09:50:490000英国监管机构将审查微软与OpenAI的合作
#划重点1.🧐英国竞争监管机构将对微软与OpenAI的合作展开正式调查,关注是否涉及“控制权的收购”。2.🤖由于OpenAI领导层动荡,英国竞争与市场管理局决定审查微软与ChatGPT开发者OpenAI之间的合作。3.💻调查的关键焦点在于微软是否通过合作取得了对OpenAI的实质性控制,并且该合作是否对市场竞争产生影响。站长网2023-12-13 22:19:440000