仅两秒延迟!新一代AI语言翻译系统Seamless发布,实现跨语言交流新突破
划重点:
🗣️ 实时表达:Seamless首次公开发布,通过SeamlessExpressive和SeamlessStreaming模型,实现语音到语音翻译中的表达保留和低延迟流式处理。
🌍 多语言支持:SeamlessM4T v2基础上构建,覆盖英语、西班牙语、德语、法语、意大利语和中文等语言,实现真实感情和风格的跨语言传递。
🔄 数据工具公开:发布metadata、数据对齐工具,扩展SeamlessAlign语料库,助力研究社区收集更多翻译数据。
在我们日益互联的世界中,语言差异可能成为沟通的障碍。Seamless作为新一代AI语言翻译系统,通过SeamlessExpressive和SeamlessStreaming模型的首次发布,为实时、跨语言交流带来了全新的突破。

SeamlessExpressive是专注于语音到语音翻译的表达保留模型,而SeamlessStreaming则是一种流式翻译模型,以约两秒的延迟提供最先进的结果。这两个模型都基于SeamlessM4T v2,这是在8月份发布的基础模型的最新版本,展现了在自动语音识别、语音到文本、文本到语音等方面的性能提升。

与以往在表达性语音研究方面的努力相比,SeamlessExpressive更加关注韵律的某些未被充分探索的方面,例如语速和节奏停顿,同时保留情感和风格。该模型目前在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中保留了这些元素。
SeamlessStreaming的突破性在于实现了与说不同语言的人实时对话。与传统系统在说话者完成句子后进行翻译不同,SeamlessStreaming在说话者仍在说话时进行翻译,使得对话更接近实时。该模型支持近100种输入输出语言的自动语音识别和语音转文本,以及近100种输入语言和36种输出语言的语音到语音翻译。
除了模型本身,Seamless还在今天发布了metadata、数据和数据对齐工具,旨在帮助研究社区收集更多的翻译数据。这包括SeamlessAlign的扩展元数据,涵盖额外115,000小时的语音和文本对齐,以及SeamlessAlignExpressive的元数据,作为表达性焦点版本的数据集。此外,还提供了mExpresso的翻译文本数据,这是Expresso的多语言平行扩展,以及用于收集更多翻译数据的工具。
Seamless作为新一代AI语言翻译系统,在实现表达保留和流式处理方面取得了重要进展,为跨语言交流提供了更加自然和真实的体验。
GPT-4o恩怨开局,Google再次躺枪
要说全世界戏最多的AI,非OpenAI莫属。这家公司简直就是热搜制造机,刚推出新产品,就送走老领导,刚和苹果结盟,就逼跌谷歌股价;连OpenAI高管的一个离职动态,都能引发网上的OpenAI离职潮。短短几天时间,以OpenAI为中心,接连引发地震级别的事件。不仅可能对OpenAI这家公司的未来产生重大影响,甚至有可能导致整个科技行业的重新洗牌。仅凭语音对话就撑起无限可能的GPT-4o站长网2024-05-20 13:51:500000通义千问72B模型荣登大模型评测平台OpenCompass榜首
中国权威的大型模型评估平台OpenCompass最近更新其排名,通义千问72B模型以67.1的高分荣登榜首。OpenCompass是由上海人工智能实验室推出的开源大型模型评估平台,其评估范围涵盖学科、语言、知识、理解和推理五个维度,能够全面评估大型模型的能力。站长网2023-12-13 11:57:480001董明珠:格力正开发不要电的空调 0电费直连光伏
8月2日,格力电器在河北举办了一场名为“格力冰洗生活电器战略发布会”的会议,公司董事长兼总裁董明珠在会上进行了演讲。董明珠宣布,格力正在研发一种革命性的空调产品,这款空调的特点是“不用电”,该技术的研发始于2012年,经过了长期的创新和改进。站长网2024-08-06 14:02:390000周鸿祎辟谣:小鸟壁纸不是360产品
快科技6月15日消息,360创始人周鸿祎今天辟谣称:小鸟壁纸不是360产品。周鸿祎表示,老有人误以为小鸟壁纸是我们的产品,我郑重声明,这个产品和360没有关系。他还补充道:如果想要卸载它,用360软件管家就可以方便的进行卸载,我亲手试验了,绝对有效。有网友反馈称,自己电脑安装了360之后,会多出一个小鸟壁纸,这个小鸟壁纸可以帮电脑桌面换一些好看的壁纸,但这个广告就有点烦人。0000晋江IP二十年,言情网文开始失落
大溃败、折戟、未如人意。这是2023年,行业观察者提到晋江改编IP时,频频使用的一些词汇。确实,比起往年的爆款频出,今年的晋江IP改编确实少了那么些「如期而爆」。上半年,《重紫》扑街,《长月烬明》口碑两极,下半年,《玉骨遥》引群嘲,《七时吉祥》完结的悄无声息。这还不够,7月初,芒果TV一部《我的人间烟火》,更是把晋江IP推上了「娇妻文学」的风口浪尖。0000