Meta推出实时3D头像合成方法 光线可调节
要点:
Meta 的 Codec Avatars Lab 提出了一种高保真、光线可调节的虚拟头像合成方法。
该方法使用可学习辐射传输和球面高斯实现了全频率反射的实时重新照明。
通过 Relightable Gaussian Codec Avatars 可以捕获3D 一致的亚毫米细节。
Meta 的 Codec Avatars Lab 最近提出了一种名为 Relightable Gaussian Codec Avatars 的方法,可以合成逼真且光线可调节的虚拟头像。这个方法通过可学习辐射传输和球面高斯实现了全频率反射的实时重新照明。传统的头像合成方法存在着一些挑战,例如如何准确地表示人体头部的多种材质,以及如何精确跟踪和建模运动中的底层几何体。Relightable Gaussian Codec Avatars 通过引入可重新照明的外观模型和基于3D 高斯的几何模型,解决了这些挑战。
论文地址:https://arxiv.org/pdf/2312.03704.pdf
项目主页:https://shunsukesaito.github.io/rgca/
Relightable Gaussian Codec Avatars 的核心思想是使用可学习辐射传输来表征人体头部的多种材质。由于人类视觉对于头部外观非常敏感,因此需要一种能够准确地表示皮肤、头发和眼睛等不同材质的方法。这个方法使用球面高斯来实现全频率反射的实时重新照明,能够捕获3D 一致的亚毫米细节。此外,该方法还引入了基于3D 高斯的可驱动化身,使用 Gaussian Splatting 技术来渲染复杂的几何细节。
Relightable Gaussian Codec Avatars 在实验中展现出了令人印象深刻的结果。重建的虚拟人物可以拥有新的表情、视图和光照,包括点光源和高分辨率环境图。即使是眼睛中的光反射也能忠实地再现周围环境,不会丢失高频细节。该方法在几何表征和外观表征上都取得了优异的性能,能够更好地建模皮肤细节和发丝,并且可以实现高频反射。实验结果显示,Relightable Gaussian Codec Avatars 可以捕获动态面部序列上的发丝和毛孔等亚毫米细节。
Relightable Gaussian Codec Avatars 的推出为实时3D 头像合成提供了一种高保真、光线可调节的方法。该方法能够捕获头部多种材质的细节,实现了全频率反射的实时重新照明。通过引入可重新照明的外观模型和基于3D 高斯的几何模型,这个方法能够精确地表示人体头部的复杂特征。这种虚拟头像合成方法在元宇宙和虚拟现实等领域具有广泛的应用前景,有助于提高用户体验和真实感。
Relightable Gaussian Codec Avatars 是一种创新的实时3D 头像合成方法,具有高保真、光线可调节的特点。通过使用可学习辐射传输和球面高斯来表征人体头部的多种材质,该方法能够捕获头部细节的亚毫米级精度。实验结果显示,重建的虚拟人物能够拥有新的表情、视图和光照,并且能够忠实地再现周围环境。Relightable Gaussian Codec Avatars 为实时3D 头像合成提供了一种先进的解决方案,有望在元宇宙和虚拟现实等领域得到广泛应用。
23 年老开源项目 OpenCV 发起 50 万美元众筹:让 OpenCV 5 活下去!
没有资金的支持,开源项目的开发与维护步步艰辛,甚至有时看不到未来。站长网2023-11-03 17:58:140001异曲同工之妙!周鸿祎称Sora工作原理像人做梦
近日,OpenAI推出了其首款文生视频模型——Sora模型,引发了业界的广泛关注。这款模型具有惊人的能力,它可以根据用户提供的文字描述,生成长达1分钟的高清流畅视频。不仅如此,Sora还能利用现有的静态图像生成视频,甚至可以对现有视频进行扩展和填充缺失内容。从已展示的效果来看,Sora生成的视频场景逼真、细节真实,令人叹为观止。站长网2024-02-20 11:34:560000阿里巴巴等开源语音情感基座模型emotion2vec
情感识别技术在各种场景中都有广泛的应用,如客服机器人根据客户语气调整策略、智能助手根据用户情绪提供建议、情感健康应用监测用户情感状态。为了支持情感理解,上海交通大学、阿里巴巴、复旦大学和香港中文大学的研究者联合开发了通用的语音情感表征模型emotion2vec。站长网2024-03-07 15:18:430001用AI评估AI,上交大新款大模型部分任务超越GPT-4,模型数据都开源
评估大模型对齐表现最高效的方式是?在生成式AI趋势里,让大模型回答和人类价值(意图)一致非常重要,也就是业内常说的对齐(Alignment)。“让大模型自己上。”这是上海交通大学生成式人工智能研究组(GAIR)提出的最新思路。但是目前的评估方法还存在透明度不够、准确性不佳等问题。所以研究人员开源了一个130亿参数规模的大模型Auto-J,能对评估当下大模型的对齐效果。站长网2023-11-14 11:13:200000特斯拉赛博充、第三代家庭充电桩支持哪些三方车辆?官方清单出炉
快科技10月7日消息,特斯拉今天宣布,第三代家庭充电桩和赛博充能给市面上主流三方品牌车型充电,且兼容性达95%以上,智能又便捷。特斯拉还放出了适配清单,可以看出,赛博充兼容三方品牌车型已有30余款,其中比亚迪车型最多,涵盖8款。特斯拉第三代家庭充电桩适配的车型更多,兼容40余款第三方品牌车型。站长网2023-10-07 19:48:170000