浙大团队推SIFU模型:单张图像准确重建高质量3D人体模型
划重点:
🌐 SIFU模型创新性解决单张图像重建3D人体模型问题
👥 引入侧视图条件隐函数及3D一致性纹理编辑方法
📈 在几何和纹理重建上表现出色,具有更高鲁棒性和广泛应用场景
在AR、VR、3D打印、场景搭建以及电影制作等多个领域中,获得高质量穿着衣服的人体3D模型变得至关重要。然而,传统的创建方法耗时且需要专业设备捕捉多视角照片,还依赖技术熟练的专业人员。
与此相反,浙江大学ReLER实验室的研究人员提出了一种名为SIFU的模型,该模型能够从单张图像准确重建3D人体模型,从而显著降低了成本并简化了独立创作的过程。
传统的深度学习模型用于3D人体重建通常需要经历从图像中提取2D特征、将2D特征转换到3D空间,以及将3D特征用于人体重建的三个步骤。然而,在2D特征转换到3D空间的阶段,过去的方法常常忽略了人体先验的引入,导致特征提取不充分,从而影响最终的重建结果。
为了解决这个问题,SIFU模型引入了侧视图条件隐函数,通过在2D特征转换到3D空间时加入人体侧视图作为先验条件,增强了几何重建效果。此外,在纹理预测的阶段,模型还引入了预训练的扩散模型,以解决不可见区域纹理预测较差的问题。
SIFU模型的运行分为两个阶段。在第一阶段,借助侧隐式函数,模型重建人体的几何和粗糙的纹理。在第二阶段,通过3D一致性纹理优化流程,模型对纹理进行精细化。这一流程中,作者设计了一种独特的Side-view Decoupling Transformer,通过全局编码器提取2D特征后,在解码器中引入人体先验模型的侧视图,使得在图像2D特征中解耦出人体不同方向的3D特征,从而用于重建。
实验结果显示,SIFU模型在几何重建和纹理重建方面均表现出色,不仅在全面多样的测试集上取得了最好的效果,而且在模型面对有误差的人体先验模型时依然具有较好的重建精度。
该模型的高精度和高质量重建效果使得其在3D打印、场景搭建、纹理编辑等领域具有广泛的应用前景。SIFU模型为单张图片人体重建提供了一种创新的方法,为未来的研究和实际应用提供了新的思路。
论文地址:https://arxiv.org/abs/2312.06704
项目代码:https://github.com/River-Zhang/SIFU
Sensor Tower:6月王者荣耀吸金2.13亿美元 蝉联冠军
SensorTower商店情报数据显示,2023年6月腾讯《王者荣耀》在全球AppStore和GooglePlay吸金2.13亿美元,蝉联全球手游畅销榜冠军。米哈游《崩坏:星穹铁道》位列榜单第2名。其中,39.7%的收入来自中国iOS市场,日本市场的收入占27.7%,美国市场占11.4%。站长网2023-07-12 16:23:430001Facebook 联合创始人:英国脱欧意味着其在人工智能领域有望成为全球领导者
站长之家(ChinaZ.com)10月24日消息:Facebook的联合创始人、软件公司Asana的首席执行官DustinMoskovitz近日表示,英国脱欧使得其能够在人工智能(AI)领域独立发展,并有望成为全球领导者。他指出,布鲁塞尔对于监管的严格态度意味着「英国脱离欧盟是更好的选择」。站长网2023-10-24 23:01:510000科大讯飞刘庆峰:明年上半年对标GPT4
2023亚布力中国企业家论坛第十九届夏季高峰会于8月25日至27日在深圳举行,科大讯飞创始人、董事长刘庆峰出席相关论坛。刘庆峰还表示,今年科大讯飞定了一个目标,到今年10月24号,科大讯飞将发布通用大模型,全面对标ChatGPT,且要实现中文全面超越,英文跟它相当。“坦白讲,今天我们跟它还有差距,但是我们很清楚,10月份就能赶上,明年上半年就对标GPT4。”站长网2023-08-26 17:26:180000一公司违法售卖QQ靓号、群号 被法院判赔150万元
近日,广东自由贸易区南沙片区人民法院审结一宗涉QQ账号交易不正当竞争纠纷案,判决出售QQ号的公司及个人赔偿150万元。腾讯公司为进行QQ号管理和保护用户个人信息,制定了相应管理规则,明确规定未经许可,不得赠与、借用、租用、转让或售卖QQ号码或者以其他方式许可其他主体使用QQ号码。站长网2023-04-24 17:17:080000抖音治理不规范用语行为 上线发文助手等功能
日前,抖音更新了关于规范表达的内容创作规则。新规规定,对违规视频和账号,将持续加强提示甚至警示,如反复出现,则将对其进行处罚。数据显示,截至2023年4月,抖音已针对不规范用语现象下发了1400多万次提示。抖音表示,自2022年8月以来,抖音先后出台了7项措施,治理平台上存在的不规范用语现象。具体措施如下:1、上线新规站长网2023-04-19 17:47:080000