Meta AI发布炸裂项目audio2photoreal 可将音频生成全身逼真的虚拟人物形象
Meta AI最近发布了一项引人注目的技术,他们成功地开发出一种能够从音频中生成逼真的虚拟人物形象的系统。
这个系统能够根据多人对话中的语音生成与对话相对应的逼真面部表情、完整身体和手势动作。这些虚拟人物不仅在视觉上非常逼真,而且能够准确地反映出对话中的手势和表情细节,例如指点、手腕抖动、耸肩、微笑和嘲笑等。
项目及演示:https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/
代码:https://top.aibase.com/tool/audio2photoreal
Demo:https://colab.research.google.com/drive/1lnX3d-3T3LaO3nlN6R8s6pPvVNAk5mdK
这个系统的工作原理如下:
首先,Meta AI团队捕获了一组丰富的双人对话数据集,这些数据集能够提供逼真的重建。然后,他们构建了一个复合运动模型,其中包括面部运动模型、引导姿势预测器和身体运动模型。
在生成面部运动时,系统使用预训练的唇部回归器处理音频,提取与面部运动相关的特征,并利用条件扩散模型生成面部运动。
在生成身体运动时,系统根据音频自回归地输出每秒1帧的向量量化(VQ)引导姿势。然后,将音频和引导姿势输入到扩散模型中,以每秒30帧的速度生成高频身体运动。
最后,生成的面部和身体运动被传入训练好的虚拟人物渲染器,生成逼真的虚拟人物。
最终展示的结果是根据音频生成的全身逼真虚拟人物,这些虚拟人物能够表现出对话中的细微表情和手势动作。
这项技术的发布将为虚拟人物的创造和应用领域带来巨大的进步。无论是在游戏开发、虚拟现实还是电影制作领域,这种能够从音频中生成逼真虚拟人物的系统都将发挥重要作用。
Meta AI的成果再次展示了他们在人工智能领域的卓越能力和创新精神。他们不断推动着技术的边界,为我们带来了一个全新的虚拟人物生成的时代。我们可以期待在不久的将来,这种技术将成为我们生活中不可或缺的一部分。
与 AI 聊天机器人交谈的可怕之处:ChatGPT 可以从匿名文本中准确「推断」个人详细信息
站长网2023-10-18 21:24:290000苹果 iOS 17 自动纠正迎来全面升级 新增 Transformer 语言模型
苹果公司今天宣布了iOS17,这是iPhone的下一个主要操作系统,引入了一系列新的通讯和共享功能。iOS17具备个性化的联系人海报功能,其中包括照片、Memojis和引人注目的排版,在通话中和更新的通讯录中显示。全新的实时语音邮件功能提供实时转录,可以进行电话筛选。用户现在可以在语音邮件中间接听电话,并且转录是在设备本地上进行处理的。站长网2023-06-06 16:24:480001微软 Windows 11 的 Bing AI 推出 Chrome 原生深色主题
据techgoing报道,微软为Windows11推出原生深色主题的BingAIChrome版本微软开始在GoogleChrome和AppleSafari浏览器上推出BingChat,并正在测试原生深色主题。据微软表示,BingAI是由ChatGPT-4提供支持的最先进、用户友好的语言模型之一。站长网2023-07-24 16:09:370000ChatGLM2-6B 发布 相比初代推理提速42%
GLM技术团队宣布升级ChatGLM-6B,并发布了ChatGLM2-6B。之前发布的ChatGLM-6B在3月14日上线,截至6月24日,其在HuggingFace的下载量已经超过了300万次。站长网2023-06-28 15:35:210000就在刚刚,又一明星公司凉了
生物技术赛道来到了多事之秋。铅笔道前阵子刚写过,总部位于新加坡的生物技术创业公司Tessa由于无法筹集额外资金或找到买家接盘,已于6月30日正式关闭。就在本周,成立不到三年基因治疗公司IntergalacticTherapeutics(银河际疗法,下称Intergalactic),也因难以筹集到足够的资金而关停并解雇了所有员工。站长网2023-08-05 09:47:000000