谷歌被秒杀!高保真3D头像逼真到恐怖 小姐姐挤眼,挑眉毫无破绽
最近,一项由德国慕尼黑工业大学(TUM)和伦敦大学学院(UCL)等研究团队提出的新算法——NPGA(Neural Parametric Gaussian Avatar),引起了广泛关注。这项技术能够生成高保真3D头像,逼真的表情甚至让人怀疑自己的眼睛。
从官方给出的演示可以看到,NPGA生成的小姐姐不仅可以做出挤眼,挑眉,嘟嘴等各种丰富的表情,而且眼神细节等丝毫看不出破绽,俨然和真人无异。
NPGA技术的创新点
NPGA采用了一种基于高斯点云的方法来生成3D人像形状。这种方法通过无数个点来构建3D头像,使得渲染更加高效和逼真。此外,NPGA引入了神经参数化头部模型(NPHM),可以捕捉人脸细微的表情变化,从而使3D数字化身能够更真实地模拟人类表情。
NPGA算法亮点:
高保真3D头像:NPGA能够生成逼真的3D头像,表情丰富,接近真实人类。
恐怖谷效应:逼真度极高,以至于让人难以区分是真人还是虚拟形象。
创新技术:与传统的3D网格模型相比,NPGA使用高斯点云,通过点来构建3D人像形状,提高渲染效率和逼真度。
神经网络模型:利用神经参数化头模型(NPHM)捕捉人脸细微表情变化,模拟真实人类表情。
拉普拉斯项:增强数字化身的表现力,通过潜在特征和预测动态提升化身的真实感。
技术细节:
数据集NeRSemble:包含4700多个多视角、高分辨率、高帧率视频,涵盖头部运动、情绪、表情和口语。
训练和优化:使用MonoNPHM模型和COLMAP计算的点云追踪,实现几何精确的模型追踪。
循环一致性目标:反转MonoNPHM的后向变形场,与基于光栅化的渲染兼容。
规范高斯点云和MLP:包含先验网络F进行前向变形,网络G学习细粒度动态细节。
应用前景:
电影、游戏、AR/VR远程会议:NPGA技术可广泛应用于这些领域,提供逼真的虚拟角色。
元宇宙:逼真的3D化身对于构建沉浸式虚拟世界至关重要。
实验评估:
自我重现任务:评估NPGA算法的保真度,结果显示在自我重现任务中有显著提升。
交叉重现任务:将一个人的表情转移到另一个虚拟化身上,NPGA表现出色。
局限性:
可控性和重建质量:受限于底层3DMM表达空间,某些区域如颈部、躯干等无法完全解释。
数据驱动限制:受可用数据限制,可能需要扩展底层3DMM以提供更详细的人类状态描述。
项目页:https://tobias-kirschstein.github.io/nersemble/
论文地址:https://arxiv.org/pdf/2405.19331
谷歌云AIGC大提升!Vertex AI提供Claude 2等第三方模型,PaLM 2升级
文章概要:1.谷歌正在扩展其云AI产品,提供第三方模型如Meta的Llama2和Anthropic的Claude2。2.谷歌宣布PaLM2现已支持38种语言和32K上下文窗口,提升性能。3.谷歌还扩展了AI模型自定义offerings,如PaLM2支持微调,Imagen支持“风格调优”。站长网2023-08-30 10:45:150000谷歌整合 AI 重心,DeepMind 和研究团队合并
划重点:-🤖谷歌宣布将AI模型开发团队整合到DeepMind单元内-🔬合并加速Gemini模型进展-🌐深化对AI产品的信任与透明度谷歌在周四宣布将整合旗下专注于构建人工智能(AI)模型的两个内部团队。站长网2024-04-22 15:40:110000Jony Ive 和 OpenAI 的 Sam Altman 正探讨一款新 AI 设备,但到底是什么?
据TheInformation援引两位知情人士消息的报道,前苹果设计主管JonyIve和OpenAI首席执行官SamAltman一直在讨论一个未具体说明的新AI设备的设计。目前还不清楚这个设备到底是什么,但该报道已经在社交媒体和新闻界引起了许多猜测,例如重新设计重度依赖生成式AI的智能手机等。也有些人认为这个设备可能完全是其他东西。站长网2023-09-28 10:18:230000损失过亿!唯品会崩溃遭P0级故障:负责人被免职
快科技6月5日消息,今年3月29日,唯品会崩了”登上热搜,由于崩溃时间太长,影响了很多消费者无法正常下单,唯品会官方对此回应称,因系统短时故障,主站加购”等功能或出现异常。今日,唯品会发布关于329机房宕机故障处理公告”,公告称,3月29日(00:14-12:01)南沙IDC冷冻系统故障,导致机房设备温度快速升高宕机,造成线上商城停止服务。站长网2023-06-06 10:35:340000海底捞回应面试时问隐私问题:将进一步核实沟通
11月6日消息,据国内媒体报道,张女士参加海底捞面试时,被问及男友年龄多大”、家里都有什么人”等隐私问题。张女士表示,这些问题让她有一种被冒犯的感觉。对此,海底捞方面表示,为了保障双方权益,目前公司指定了区域负责人,将与双方当事人进行进一步的沟通了解。律师指出,按照规定,劳动合同应当具备的条款包括劳动者的姓名、住址和居民身份证或者其他有效身份证件号码。站长网2023-11-06 20:00:530000