浙大提出SIFU模型 单图即可重建高质量3D人体模型
要点:
浙江大学ReLER实验室提出的SIFU模型是一种单图即可重建高质量3D人体模型的侧视图条件隐函数模型,在几何与纹理重建测试中达到SOTA。
SIFU模型通过引入人体侧视图作为先验条件,并结合扩散模型进行纹理增强,成功解决了传统方法中在2D特征转换到3D空间和纹理预测阶段的问题,提高了重建精度和效果。
SIFU模型具有更强的鲁棒性,通过测试模型在估计人体先验模型不准确的情况下仍具有最好的重建精度,且适用于多个应用场景,如AR、VR、3D打印、场景搭建等。
近期,浙江大学ReLER实验室的研究人员提出了一项引人瞩目的研究成果:SIFU模型。该模型创新性地使用单张图片进行3D人体模型重建,通过引入侧视图条件隐函数和扩散模型,实现了几何和纹理重建的最先进水平。传统方法在处理2D特征到3D空间和纹理预测时存在不足,而SIFU模型成功地解决了这些问题,使得从单张图像准确重建高质量3D人体模型成为可能。
项目地址:https://top.aibase.com/tool/sifu
在模型的运行流程中,SIFU分为两个关键阶段。首先,利用侧隐式函数实现人体的几何和粗糙纹理的重建。独特的Side-view Decoupling Transformer在此阶段发挥关键作用,通过引入侧视图作为先验条件,从而在2D特征中解耦出人体不同方向的3D特征,从而提高了重建效果。其次,通过3D一致性纹理优化流程,借助预训练的扩散模型对纹理进行精细化,使得模型的纹理贴图更加精细和连贯。
实验部分展示了SIFU模型在几何和纹理重建方面的卓越性能。通过全面多样化的测试集,包括CAPE-NFP、CAPE-FP和THuman2.0,SIFU模型在定量评估中表现出最好的几何和纹理重建效果。此外,模型在面对有误差的人体先验模型时也展现出更强的鲁棒性,适用于真实世界中存在估计不准确的情况。
SIFU模型的应用场景广泛,包括3D打印、场景搭建、纹理编辑等。其高精度高质量的重建效果为多个领域提供了新的可能性,特别是在AR、VR等领域,简化了独立创作的过程,降低了成本,为未来的研究和应用提供了新的思路和方向。
SIFU模型的提出填补了以往在2D特征转换到3D空间和纹理预测时的不足,取得了令人瞩目的成果。其在单图即可重建高质量3D人体模型方面的优越性能,将为相关领域的发展带来新的动力。通过这一研究,浙江大学ReLER实验室为几何纹理重建领域注入了新的SOTA技术,为未来的科研和产业应用提供了坚实的基础。
OpenAI 的嵌入 API太慢了吗?探索其他嵌入模型和服务的优势
站长网2023-07-27 11:23:060000第二代Ameca来了!和观众对答如流,面部表情更逼真,会说几十种语言
【新智元导读】全新升级的第二代Ameca来了,GPT-4加持,能够实时对答。人形机器人Ameca升级第二代了!最近,在世界移动通信大会MWC2024上,世界上最先进机器人Ameca又现身了。会场周围,Ameca引来一大波观众。得到GPT-4加持后,Ameca能够对各种问题做出实时反应。「来一段舞蹈」。当被问及是否有情感时,Ameca用一系列的面部表情做出回应,看起来非常逼真。站长网2024-03-03 21:41:100001IBM 推出watsonx生成式 AI 功能 加速代码开发
本文概要:1.IBM发布watsonxCodeAssistantforZ,利用生成式AI加速COBOL代码转换为Java。2.watsonxCodeAssistantforZ能够快速准确地评估、更新、验证和测试代码,加快主机应用程序的现代化。3.该解决方案有助于加速代码开发、降低现代化计划的总成本,并扩大获得更广泛IT技能的机会。站长网2023-08-22 18:50:29000020%的杨幂+80%的泰勒长什么样?小红书风格化AI来了,可兼容SD和ControlNet
不得不说,现在拍写真真是“简单到放肆”了。真人不用出镜,不用费心凹姿势、搞发型,只需一张本人图像,等待几秒钟,就能获得7种完全不同风格:仔细看,造型/pose全都给你整得明明白白,并且原图直出修也不用修了。这搁以前,不得在写真馆耗上至少整整一天,把咱和摄影师、化妆师都累个半死不活。以上,便是一个叫做InstantIDAI的厉害之处。除了现实写真,它还能整点“非人类的”:站长网2024-01-19 14:00:030001三星Medison斥资9270万美元收购AI超声初创公司Sonio
据国外媒体报道,三星电子旗下医疗器械部门三星Medison周三宣布,将以9270万美元收购总部位于巴黎的法国人工智能初创公司Sonio。该收购旨在为三星在超声成像设备领域注入先进的AI技术。站长网2024-05-09 15:05:550000