Meta推出多模态语音翻译模型

Meta发布了一种多模态语音翻译模型SeamlessM4T，可以无缝地在语音和文本之间进行翻译和转录。该模型支持近100种语言的自动语音识别、语音到文本翻译、语音到语音翻译、文本到文本翻译以及文本到语音翻译等任务。为了支持这个模型的发展，Meta还发布了SeamlessAlign的元数据，包含了27万小时的语音和文本对齐数据。