新NeRF技术:将视频转化为可控制的3D模型 创建数字人更简单了
划重点:
1. 🤖 Fraunhofer Heinrich Hertz研究团队引入新技术,使用神经辐射场(NeRF)将标准RGB视频转化为可控制的3D人体模型,简化了数字人物创建过程。
2. 👥 这一创新有望在电影、游戏、虚拟现实等领域,降低数字人物模型制作成本,提供更多应用可能。
3. 🖼️ NeRF技术通过预测光线与场景的交互来创建逼真的3D图像,为实现从不同角度的人物动作提供了新途径。
近日,Fraunhofer Heinrich Hertz研究团队取得重大突破,他们引入了一项全新技术,使用神经辐射场(NeRF)将标准RGB视频转化为可控制的3D人体模型。这一创新代表了计算机图形领域中的一项重要进展,解决了从视频片段中创建逼真、可控制的3D模型一直以来的难题。
传统上,要创建逼真的3D人物模型通常需要昂贵的多摄像头设置和复杂的手工建模,因此不适用于众多低成本应用。然而,Fraunhofer Heinrich Hertz研究团队的新技术为这一问题提供了创新性的解决方法。他们通过NeRF技术,可以直接从标准RGB视频素材中重建出精细的3D人体模型,无需昂贵设备和繁重的人工劳动。
NeRF技术,即神经辐射场,是一项用于创建逼真3D图像的新技术。它通过算法预测光线如何与场景交互,从而创建出看似真实的图像,即使是从以前未见过的角度观察。然而,将NeRF技术应用于捕捉人物运动和不同姿态的图像是一个更加复杂的问题。人类和他们的运动是复杂多变的,NeRF需要理解这种复杂性才能创建出清晰的图像。
研究介绍了一种名为Surface-Aligned Neural Radiance Fields (UVH-NeRF)的技术,该技术提供了一个从视频素材中生成详细3D人像图像的过程。
该方法包括将3D人体模型与视频中的人物进行对齐,通过将2D图像映射到模型的表面来创建贴图,以及使用神经网络来微调模型的空间变换,确保NeRF对人体模型的表示精确对齐。通过这些步骤,NeRF可以学习并呈现出多种姿势和角度的人物模型,创造出多功能和动态的3D人像。
以下是该方法的细分:
1.将3D 人体模型调整为视频:第一步是将3D 人体模型与视频中的主题对齐。这通过提供在整个视频序列中反映人物形状和动作的3D 结构,为后续步骤奠定了基础。
2.使 NeRF 适应人体几何形状:该方法通过以下方式修改传统的 NeRF 空间:
将点投影到模型的表面上:它在3D 模型的表面上定位与视频中的位置相对应的点。这些点用于将2D 图像中的纹理映射到模型上。
计算与模型表面的距离:对于空间中的每个点,该技术计算其与模型表面的距离,这有助于确定点相对于模型的位置(内部、上方或外部)。
结合关节运动:它使用骨骼关节数据为模型制作动画,这有助于以不同的姿势呈现人。
3.使用神经网络完善空间理解:神经网络被教导微调这种空间转换,确保 NeRF 的空间表示准确并与人类模型保持一致。
从研究结果来看,这项技术在从视频片段生成3D模型方面表现出令人印象深刻的潜力。虽然目前仍存在一些限制,尤其是在复杂运动和较长序列方面,但它为将来的研究和改进奠定了基础。
这一创新的应用前景广泛,有望降低数字人物模型的制作成本,对电影、游戏、虚拟现实等领域产生积极影响。最终,这项工作将数字人物的创建变得更加可行,为个人创作者和小型制作团队带来更多应用可能性。
2024,智能手表能告别“美丽废物”吗?
在社交媒体上搜索“美丽废物”,智能手表一直位居前列。它们售价昂贵,除了表面的“美丽”,没有什么实用价值,但情绪价值拉满,是当代年轻人取悦自己的“数码甜品”。乍一看,“美丽废物”似乎是一个贬义词。但仔细想想,“美丽废物”简直是对一款终端产品的最高褒奖。0000蜜雪冰城们混战2024:谁最赚钱,谁最着急?
奶茶四巨头,活得越来越不像自己。2024年,茶饮市场要变天了。过去两个月,茶饮大小巨头们就像上了发条一样,一个接一个地冲刺IPO。2月23日,茶百道再次向港交所递交招股书,此前(2023年8月)递交的版本已于2月中旬失效;2月14日,沪上阿姨递表港交所;1月2日,蜜雪冰城、古茗同一天向港股递交上市申请。站长网2024-02-28 14:02:300000春晚60万大奖得主现身 因反诈意识强险错失华为全家桶
近日,在热闹的春节氛围中,一个关于春晚60万元大奖的故事引起了广泛关注。原来,作为2024年春晚的独家互动合作平台,京东为观众准备了丰厚的奖品,其中包括华为全场景旗舰产品及问界M9的使用权,总价值高达60万元。在除夕夜的钟声敲响之际,10位幸运儿被抽中,他们将有机会获得这份难得的大奖。站长网2024-02-21 16:32:220000Infosys 与 Google Cloud 扩大合作:共同构建 AI 驱动的未来体验
站长之家(ChinaZ.com)10月19日消息:印度IT巨头印孚瑟斯Infosys宣布,将扩大与GoogleCloud的合作伙伴关系,以帮助企业借助InfosysTopaz产品和GoogleCloud的生成式AI解决方案构建AI驱动的体验。图片来自Infosys站长网2023-10-19 17:57:090000盘点近几年的互联网宕机事件,都是啥原因?
“滴滴滴滴滴滴等待”,从昨天晚上到今天中午,滴滴崩了难住了不少打工人。这次宕机持续近12个小时,算是滴滴近年来瘫痪时间最长的一次故障。滴滴2023年第三季度财报显示,单季度中国出行业务总交易额为725亿元,日均单量达到3130万单。据此,有媒体估计将会让滴滴损失过千万的订单量和超4亿的交易额。而除了滴滴外,阿里云在不到10天的时间里也出现了两次故障。站长网2023-11-29 18:12:050000