AI初创公司Captions发布多语言视频翻译应用Lipdub

AI视频编辑初创公司Captions发布了一款名为"Lipdub"的新应用，用于将视频片段翻译成28种语言。该应用支持多种语言，包括法语、印地语、西班牙语、意大利语、葡萄牙语、日语等，甚至可以将视频翻译成德克萨斯俚语、Z世代用语、海盗语和婴儿语。

地址:https://apps.apple.com/us/app/lipdub/id6455155615

演示视频显示，该应用还可以根据选择的目标语言改变嘴唇的动作，但在音频和嘴唇动作之间有时会存在一定的滞后。

用户可以翻译长达一分钟的单人讲话视频，然后分享到其他社交媒体平台上。

Captions声称已有超过300万创作者使用其AI视频编辑应用，拥有超过10万名日常用户。该应用提供多种基于AI的视频编辑功能，如去除口误，降低背景噪音和增强语音。该应用还具有“AI Lipdub”功能，可以在后期编辑中更改字幕以匹配嘴唇动作。

Captions成立于2021年，创始人是Snap的设计工程部门负责人Gaurav Misra。该公司于6月完成了由Kleiner Perkins领投的B轮融资，融资额为2500万美元，参与投资方包括Sequoia Capital、Andreessen Horowitz（a16z）和SV Angel。迄今为止，Captions已筹集了4000万美元的资金。

使用翻译和AI配音来触及更广泛的受众是一个不断增长的趋势。今年6月，YouTube宣布正在测试一款AI工具，允许用户自动为其视频添加其他语言的配音。该公司表示正在改进配音的嘴唇同步技术。上个月，该公司表示正在将基于AI的配音直接集成到YouTube Studio中，以便更轻松地将视频转换为其他语言。

AI配音的初创公司引起了众多投资者的兴趣，像英国的Papercup和以色列的Deepdub等初创公司已筹集了数百万美元。