仅两秒延迟!新一代AI语言翻译系统Seamless发布,实现跨语言交流新突破
划重点:
🗣️ 实时表达:Seamless首次公开发布,通过SeamlessExpressive和SeamlessStreaming模型,实现语音到语音翻译中的表达保留和低延迟流式处理。
🌍 多语言支持:SeamlessM4T v2基础上构建,覆盖英语、西班牙语、德语、法语、意大利语和中文等语言,实现真实感情和风格的跨语言传递。
🔄 数据工具公开:发布metadata、数据对齐工具,扩展SeamlessAlign语料库,助力研究社区收集更多翻译数据。
在我们日益互联的世界中,语言差异可能成为沟通的障碍。Seamless作为新一代AI语言翻译系统,通过SeamlessExpressive和SeamlessStreaming模型的首次发布,为实时、跨语言交流带来了全新的突破。
SeamlessExpressive是专注于语音到语音翻译的表达保留模型,而SeamlessStreaming则是一种流式翻译模型,以约两秒的延迟提供最先进的结果。这两个模型都基于SeamlessM4T v2,这是在8月份发布的基础模型的最新版本,展现了在自动语音识别、语音到文本、文本到语音等方面的性能提升。
与以往在表达性语音研究方面的努力相比,SeamlessExpressive更加关注韵律的某些未被充分探索的方面,例如语速和节奏停顿,同时保留情感和风格。该模型目前在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中保留了这些元素。
SeamlessStreaming的突破性在于实现了与说不同语言的人实时对话。与传统系统在说话者完成句子后进行翻译不同,SeamlessStreaming在说话者仍在说话时进行翻译,使得对话更接近实时。该模型支持近100种输入输出语言的自动语音识别和语音转文本,以及近100种输入语言和36种输出语言的语音到语音翻译。
除了模型本身,Seamless还在今天发布了metadata、数据和数据对齐工具,旨在帮助研究社区收集更多的翻译数据。这包括SeamlessAlign的扩展元数据,涵盖额外115,000小时的语音和文本对齐,以及SeamlessAlignExpressive的元数据,作为表达性焦点版本的数据集。此外,还提供了mExpresso的翻译文本数据,这是Expresso的多语言平行扩展,以及用于收集更多翻译数据的工具。
Seamless作为新一代AI语言翻译系统,在实现表达保留和流式处理方面取得了重要进展,为跨语言交流提供了更加自然和真实的体验。
Chegg 首席执行官称对 ChatGPT 的担忧被「过分夸大」导致股价暴跌 48%
提供家庭作业辅导和在线教育的公司Chegg的股价在周二暴跌了48%,原因是该公司业绩报告中提到了人工智能的风险,其CEODanRosensweig在周二接受CNBC采访时表示,这场股价暴跌是「过度夸大」的。站长网2023-05-04 09:45:580000AI音乐战火升级!三路国产大军全面对决Suno
在与Suno对垒这条道路上,国内在AI音乐领域积累已久的公司,已经纷纷在自己的优势之上推出了相应的模型及应用,正与全球顶级产品展开了一场你追我赶的精彩对决。有趣的音乐创作玩法,不断惊艳用户的模型效果,以及现象级的产品传播方式,音乐大模型是今年垂直大模型赛道上一个十分稀缺的亮点。站长网2024-12-11 17:59:240000周鸿祎称Sora生成视频堪比CG:未做3D建模 只需文字就可逼真描绘
快科技2月18日消息,今日,周鸿祎再次谈到Sora视频模型,他表示Sora生成视频堪比CG。周鸿祎发视频称,Sora有三个片段让他觉得非常惊讶。其中一个是一堆金毛小狗在雪地里打滚儿,狗狗用鼻子拱雪,甚至一粒一粒的雪粒都能感觉到,他感觉这个画面非常真实。站长网2024-02-18 20:40:530000美国投资公司Ripplewood计划向 OpenAI 投资 10 亿美元
本文概要:1.金融科技投资者Ripplewood计划向OpenAI投资10亿美元。2.Ripplewood将借助OpenAI的AI软件,开展人工智能相关投资。3.Ripplewood计划推出基于人工智能的投资工具,提供精确的市场预测和优化投资组合。美国知名投资公司Ripplewood计划向人工智能软件公司OpenAI投资10亿美元。站长网2023-08-14 16:12:150000谷歌推出 2000 万美元基金支持负责任的人工智能开发
站长之家(ChinaZ.com)9月12日消息:继在旧金山举行的GoogleCloudNext会议上发布了一系列生成式AI项目和工具后,谷歌于周一宣布推出数字未来项目,旨在汇聚AI发展中的多样化声音。谷歌还宣布设立2000万美元基金,支持「人工智能的负责任发展」。站长网2023-09-12 09:43:060000