用2D图像补全3D场景,谷歌发布NeRFiller
在许多3D场景捕获中,由于网格重建失败或者缺乏观测,例如,物体接触区域或难以触及的区域,场景中的某些部分经常会出现缺失的情况。
谷歌和加州大学伯克利分校的研究人员提出了NeRFiller框架,可通过2D图像来修复残缺的3D场景,同时发现当图像形成2x2网格时,会生成更多3D一致性的修复效果。
测试数据显示,研究人员通过多个评估指标对比原始数据与重建效果,如PSNR、SSIM等。同时记录不同数据集每个迭代循环耗时,发现NeRFiller重建的效果更出色,并将重建效率提升了10倍左右。
即将开源地址:https://github.com/ethanweber/nerfiller
论文:https://arxiv.org/abs/2312.04560
通常3D修复目标是完成一个包含缺失区域场景,例如,由多视图重建方法获得的场景,其中可能存在由于网格重建失败导致的“空洞”。NeRFiller则是要填充这些缺失区域,生成一个完整的3D场景。
所以,NeRFiller的整体修复思路主要分为两大块:使用联合多视角图像补全一致性的3D模型,以及通过对3D场景表示的迭代优化,将这些2D图像补全整合到全局一致的3D场景中。
联合多视角图像补全
使用独立的2D补全模型进行多视角图像的补全存在一致性问题,因此NeRFiller提出了网格先验和联合多视角补全两种策略,来提高一致性。
1)网格先验
研究人员发现,将四幅图像缩放到较低分辨率后以2x2网格形状提供给补全模型,可以获得更加一致的补全结果。可能这是由于在补全模型的训练数据中,存在很多视图示例。
方法是将4幅图像的潜在表示缩放到1/4分辨率,拼接成2x2网格后提供给扩散模型,对网格进行联合预测和采样。
最后再还原到原分辨率。这与最近的视频编辑方法使用的延长注意力机制有相似之处。
2)联合多视角补全
直接将大量图像制作成网格会降低分辨率。为了保持分辨率,NeRFiller使用了一种将网格先验推广到任意数量图像的策略。
该策略类似于MultiDiffusion的方法,每次迭代时随机将图像分组到2x2网格中,重复多次后对每个图像的噪声预测进行平均。这样可以在不降低分辨率的情况下增加有效的网格大小。
3D场景重建
上述的联合多视角图像补全,还无法更好的保证3D场景一致性。所以,NeRFiller使用了一种将2D补全结果整合到3D场景表示的迭代方法。整体流程如下:
渲染训练视角子集;
对渲染图像添加噪声,进行联合多视角补全;
用补全结果更新训练数据集中对应图像。
不断重复该流程,直到重建结果达到目标。此外,为了优化3D场景的几何形态,NeRFiller在室内场景中可加入了相对深度的监督,补全后预测深度,只对补全区域施加排序损失。
本文素材来源NeRFiller论文,如有侵权请联系删除
苹果被评为美国最糟糕雇主:员工留存率最低 平均1.7年就跳槽
快科技7月29日消息,很多人在找工作时都想进入大厂”,羡慕大公司中的各项福利待遇,以及能够大战拳脚的机会。在科技领域,苹果等公司是绝对当之无愧的龙头,但其中的员工却似乎并没有想象中的幸福,也没那么牢固。最近简历平台Resume.io公布了一份最新的研究报告,苹果公司被评为美国最糟糕的雇主,亚马逊、Meta和特斯拉等大型科技公司也紧随其后。站长网2023-07-29 10:40:220000Redmi K70/Pro推出全新12+512GB版本:售价2699元起
今日,Redmi官方带来了令人振奋的消息——RedmiK70和RedmiK70Pro两款机型推出了全新的12GB512GB版本,为用户提供了更大的存储空间选择。其中,RedmiK70的12GB512GB版本售价为2699元,而RedmiK70Pro的同款配置售价为3599元。站长网2024-02-29 14:15:460000UI设计师福音!Creatie只要选择区域输入需求即可让AI完成UI设计
Creatie.ai是一个由设计师领导的小型团队开发的人工智能赋能的设计工具,旨在通过最先进的AI技术,帮助设计师在UI/UX设计流程的各个方面,从线框图到模型图,从情绪板到插图。这个工具的核心理念是利用AI的变革潜力来增强设计过程,而不是取代它,从而实现创作的民主化和加速流程。体验地址:https://top.aibase.com/tool/creatie站长网2024-03-19 16:45:250000妙鸭爆红之后:不做玩具,做服务|对话妙鸭产品负责人
“百模大战”尚未分出胜负,一款小而美的AI相机产品“妙鸭相机”却在上周迅速爆红。只需上传照片、付费9.9元,就能生成媲美线下拍摄精修的写真照,还可根据个人喜好挑选流行风格……在如此新鲜且有性价比的产品面前,几乎没有哪个女性用户能够拒绝。站长网2023-08-05 09:31:000000抖音、小红书又加一个抢用户新功能
很多平台都在尝试让自己APP内部的功能多而全。正如目前正在内测AI搜索的抖音和AI助手的小红书一样。见实观察到,抖音正在内测试AI搜索功能“AI搜”,用户可以“AI搜”功能下获得AI提供的回答,功能类似于在抖音内部设置了一个智能搜索入口。另外,小红书也在内测了群聊AI功能后,新加入了一个名为“达芬奇”的智能AI助手,目前也仍在内测之中。0000