1张图片加音频即可生成对口型视频

要点:阿里提出了EMO框架，可根据单张图像和声音生成具有表情丰富的头像视频。方法包括两个主要阶段:帧编码和扩散过程，利用多种注意机制和时间模块实现头像生成。EMO支持多语言歌曲和不同风格的头像生成，可应用于歌唱、对话和跨角色表演等领域。