南洋理工大学研发DIRFA:仅需音频和照片,就能创造逼真数字人
要点:
1. 新加坡南洋理工大学的研究团队开发了一款名为DIverse yet Realistic Facial Animations(DIRFA)的计算机程序,可以仅通过音频和一个人的照片创建展示说话者面部表情和头部动作的逼真视频。
2. DIRFA是一种基于人工智能的程序,通过训练模型使用来自The VoxCeleb2Dataset的超过一百万个音频视觉剪辑,以预测语音中的线索并将其与面部表情和头部动作关联,从而生成与口头音频同步的3D视频。
3. 该技术有望在医疗保健等领域推动新应用,提高虚拟助手和聊天机器人的逼真程度,同时对于有言语或面部障碍的个体,可以通过表达性的化身或数字表示来帮助他们传达思想和情感,增强他们的沟通能力。
在这项最新的研究中,新加坡南洋理工大学的研究团队成功开发了一项名为DIverse yet Realistic Facial Animations(DIRFA)的计算机程序,该程序通过仅使用音频和一个人的照片,就能够生成逼真的视频,展示说话者的面部表情和头部动作。DIRFA是一种基于人工智能的程序,通过训练模型使用超过一百万个音频视觉剪辑,从而能够预测语音中的线索,并将其与面部表情和头部动作关联,从而生成与口头音频同步的3D视频。
图源备注:图片由AI生成,图片授权服务商Midjourney
研究人员表示,相较于现有方法,DIRFA在处理姿势变化和情感控制方面取得了显著进展。这一技术创新有望在医疗保健等多个领域推动新应用,提高虚拟助手和聊天机器人的逼真程度,改善用户体验。同时,对于那些有言语或面部障碍的个体,DIRFA还可以作为一个强大的工具,通过表达性的化身或数字表示帮助他们传达思想和情感,提升他们的沟通能力。
研究团队的首席作者表示,语音表现出多种变化,而他们的方法从音频表示学的角度出发,致力于提高人工智能和机器学习的性能。此外,研究者们还指出,DIRFA能够生成具有准确的嘴唇运动、生动的面部表情和自然头部姿势的说话面孔。
然而,研究团队也表示他们正在努力改进DIRFA的界面,以允许用户控制某些输出,比如调整表情。此外,他们计划通过使用更广泛的数据集来进一步优化DIRFA的面部表情,其中包括更多不同的面部表情和语音音频剪辑。
总体而言,这项研究为多媒体交流领域带来了深远而革命性的影响,通过结合人工智能和机器学习等技术,实现了高度逼真的个体说话视频的创作。
创业授予期权,最没用的东西!
各位村民好,我是村长直到现在,依然还有许多初创企业,喜欢用所谓的期权去给员工画大饼。以为这样员工,就会好好努力,拼命奉献了。我建议所有的老板,都不要浪费时间,不管你有没有享受过一些上市公司股票的福利。也不论你现在是一个人出钱做企业还是拿了一二千万投资做创业的。01上市前期权都是一张废纸我说这句话的时候,一定有人会反驳。甚至拿出了一句名言:因为相信而看见,不是因为看见了所以才相信。0000中美用户,在直播间里对同一样产品“疯狂上头”
站长网2023-12-28 14:16:020000华为鸿蒙HarmonyOS 4正式发布 加入个性化交互设计和主题
在华为终端开发者大会2023上,华为终端BGCEO余承东宣布了华为鸿蒙4(HarmonyOS4)的正式发布。他表示,HarmonyOS4具备元服务、分布式万物互联、大智慧、更安全、更个性等特点。鸿蒙4还加入了很多个性化的交互设计和主题元素,使得手机可以千人千面。站长网2023-08-04 15:27:330004人工智能大战:亚马逊 AWS 重磅投入生成式 AI 向微软和谷歌发起挑战
站长之家(ChinaZ.com)12月2日消息:亚马逊的AWSre:Invent开发者大会本周拉开帷幕,一系列重磅公告显示出亚马逊正在努力迎头赶上AI领域的佼佼者和主要竞争对手微软。作为亚马逊至关重要的亚马逊网络服务(AWS)业务的年度展示窗口,今年的会议重点放在了生成式AI上,力图抗衡微软和谷歌在市场上的早期主导地位。0000有着万亿市场的“冷链”,为什么知道的人却不是很多?
当你哈尔滨能尝到广东的新鲜荔枝;当你在湖南能吃到内蒙古新鲜的羊肉;当你一年四季都能品尝到不同地方的新鲜水果……是否有想过这些物品是怎么到达手上的?有的人是知道怎么回事,但很多人没有去了解过,就好比用手机的人,只管好不好用,怎么制造出来的,那就不用去理会。不错,道理是这么个道理,但多了解点东西终归不是坏事,对吧?站长网2023-05-24 07:16:580000