25倍压缩率!HiFi4G渲染技术实现照片级真实人体建模和高效渲染
**划重点:**
1. 🌐 HiFi4G实现了从密集视频中重新创建高保真4D人体表演的全显式和紧凑方法。
2. 🎮 HiFi4G在优化速度、渲染质量和存储开销方面明显优于当前的隐式渲染技术。
3. 📦 研究团队提供了一种压缩方法,使HiFi4G在每帧不到2MB的存储空间下,以约25倍的压缩率,可在各种设备上实现沉浸式观看人体表演。
近日,上海科技大学、NeuDim、字节跳动和DGene的研究团队共同发布了一篇名为《HiFi4G:人体建模和高效渲染的突破性进展》的AI论文。该论文介绍了HiFi4G,这是一种全新的、全显式且紧凑的高斯方法,用于从密集视频中重新创建高保真的4D人体表演。
这项研究的主要亮点在于,HiFi4G通过将非刚性跟踪与3D高斯表达相结合,成功分离了运动和外观数据,从而实现了紧凑且压缩友好的表达。相较于当前的隐式渲染技术,HiFi4G在优化速度、渲染质量和存储开销方面取得了明显的改进。
具体而言,研究团队首先提出了一种双图方法,包括细粒度高斯和粗略变形图,以自然地将高斯表示与非刚性跟踪连接起来。通过使用NeuS2创建每帧几何代理,并以关键帧的方式使用嵌入式变形(ED),这一显式跟踪技术将序列划分为部分,为每个部分内的运动提供了丰富的历史信息。
接下来,研究团队为进一步初始化构建了一个细粒度高斯图,通过从粗略ED网络中插值每个高斯运动。为了平衡高斯特征和非刚性运动先验的更新,研究团队提出了一种4D高斯优化方法。他们使用时间正则化器确保每个高斯的外观属性的一致性,如不透明度、缩放系数和球谐(SH)。对于运动特征(位置和旋转),研究团队建议使用平滑项,以在相邻高斯之间生成局部尽可能刚性的运动。
为了应对在表现小而非刚性运动的区域出现的颤动现象,研究团队为这些正则化器添加了自适应加权机制。经过优化,研究团队生成了时空紧凑的4D高斯。为了使HiFi4G对用户更加实用,研究团队提出了一种伴随的压缩技术,采用传统的残差校正、量化和熵编码,以适应各种平台上的低存储沉浸式人体表演体验。
HiFi4G作为一种用于高保真人体表现渲染的方法,具有以下特色功能:
紧凑的高斯喷溅表示法: HiFi4G采用3D高斯表达与非刚性跟踪相结合,实现了紧凑且压缩友好的表示。这种方法通过采用双图机制,包括粗糙变形图和细粒度高斯图,来获得运动的先验知识。
双图机制: 引入了双图机制,其中包括一个用于有效初始化的粗糙变形图和一个用于强制约束的细粒度高斯图,以实现对非刚性运动的建模。

4D高斯优化方案: 采用了4D高斯优化方案,其中包括自适应的时空正则化器,以有效平衡非刚性先验和高斯更新,实现高质量的人体表现渲染。
伴随的压缩方案: 提出了一个伴随的压缩方案,包括残差补偿,可在各种平台上实现沉浸式体验。该方案实现了约25倍的压缩率,每帧不到2MB的存储开销。
关键帧非刚性跟踪: 通过基于关键帧的非刚性跟踪,建立了一个粗糙变形图,并跟踪了高斯优化的运动,为后续渲染提供支持。
实时高保真渲染: HiFi4G能够在实时性要求下,对具有挑战性动作的人体表现进行高保真渲染,例如演奏乐器、跳舞和更衣等。

渲染结果:HiFi4G 可实时高保真地渲染人类在演奏乐器、跳舞和换衣服等具有挑战性的动作中的表现。
在应用场景上,HiFi4G可以用于电影、电视剧和游戏制作,实现更逼真、高保真的人物表现渲染。特别是在需要展现复杂人体动作,如演奏乐器、跳舞和更衣等情境下,可以提供更真实的画面效果。另外,由于HiFi4G能够实现实时高保真渲染,它在虚拟现实和增强现实应用中也具备广泛的应用前景。用户在虚拟环境中进行各种活动时,可以获得更具沉浸感的体验。
项目网址:https://nowheretrix.github.io/HiFi4G/
论文网址:https://arxiv.org/abs/2312.03461
爆火Rabbit R1大翻车:被曝套壳安卓!质疑者IP已遭屏蔽
号称要干翻所有APP的RabbitR1,自己先被干翻了。年初高调宣传的时候,CEO吕骋说好的搭载的是全新操作系统RabbitOS。结果就在这两天,安卓专家MishaalRahman(下文简称“拉哥”)却发现了个不小的端倪——这玩意儿就是套壳安卓啊!用拉哥的话来说就是:不仅内部系统是安卓,就连整个界面都是由安卓APP提供支持。站长网2024-05-03 00:58:560000小红书电商30个品牌榜单,透露出哪些信号?
11月7日,小红书发布30个新赛道突破品牌,品类包含服饰、运动户外、美妆、家居家电、美食健康、母婴和文玩手工艺。榜单30个品牌中,服饰有12个,美妆有6个,足以凸显美妆和服饰重要位置。在评选的维度上,小红书电商综合站内成交增长、经营方法和品牌建设3个维度来评选。成交增长:单月GMV环比增长速度;经营方法:小红书电商市场的切合度。站长网2023-11-09 18:17:440000小米发布新款手机采用相机式设计
小米发布了新款小米13Ultra,其背面设计看起来非常像相机,尤其是徕卡M系列。这款手机还采用了独特的绒面皮革拼接设计和弧形过渡方案,与相机类似。小米13Ultra的设计独特,从市场上的其他智能手机中脱颖而出。它可能会吸引那些正在寻找具有独特外观的手机的消费者。站长网2023-04-18 20:09:290001开虚拟歌会、组偶像男团,语音直播正在引领下一个新风口?
语聊厅主播也能开歌会?还能组男团?10月23日晚,抖音头部多人语聊厅“听潮阁男明星”举办了一场线上虚拟歌会。四位来自语聊厅的主播——北夜、游戈、野洵和尹妹,真人身穿动捕服通过虚拟形象现身舞台,给歌迷带来了精彩的歌曲表演和游戏互动。这也是他们四人所组成的虚拟男团“天外少年”的首次亮相。对于“听潮阁”,业内人士并不陌生。其背后机构是“星天外”,不到一年就成为了抖音头部语音直播机构。站长网2023-10-25 11:59:180000ChatGPT使用数据曝光 访问量和编程需求自5月开始持续下滑
近日,美国社交媒体分析公司SparkToro公布了一组关于ChatGPT使用情况的数据分析结果,发现ChatGPT的使用量和编程协助需求从5月份开始出现明显的下降趋势。站长网2023-09-14 21:40:310000