一张照片一段声音秒生超逼真视频

要点:南大等机构研究人员提出的通用框架，名为VividTalk，能通过一段音频和一张照片生成高质量、富有表现力的说话视频，实现口型和音频的无缝对齐。框架采用两阶段生成，第一阶段考虑面部运动和blendshape分布之间的映射，利用多分支Transformer网络建模音频上下文，第二阶段渲染内外表面的投影纹理，实现全面建模运动。