李飞飞团队推零样本360度场景合成技术ZeroNVS
要点:
1. 斯坦福和谷歌团队提出了ZeroNVS,一种能够从单个图像实现零样本360度试图合成的新技术。
2. ZeroNVS利用3D感知扩散模型和SDS蒸馏来生成逼真且多样化的合成图像,聚焦于场景而不是物体。
3. 研究人员使用不同的基准数据集进行评估,结果表明ZeroNVS在零样本性能方面明显领先于其他方法,特别是在LPIPS指标上。
斯坦福和谷歌团队提出了一项名为ZeroNVS的创新技术,能够从单个图像实现零样本360度试图合成。过去,3D感知扩散模型的训练主要集中在模型生成单个物体的SDS蒸馏上,但要生成逼真且多样化的合成图像,需要关注整个场景。ZeroNVS的方法涉及使用高质量大规模数据集,如Objaverse-XL,以实现从新视角生成逼真图像,然后通过SDS蒸馏采样,提高3D一致性。与以往的工作不同,ZeroNVS聚焦于场景,而不是物体,因为背景对于图像多样性至关重要。
在具体方法上,研究人员首先训练扩散模型,然后使用它来执行新颖的视图合成,随后进行3D SDS蒸馏。与以往不同的是,ZeroNVS引入了一种具有六个自由度的相机表示,以捕获所有可能的位置和方向。这种表示被称为“6DoF 1”,它对于场景的刚性变换具有不变性。此外,研究人员还通过“SDS anchoring”来提高多样性,使用DDIM对新视图进行采样,然后使用最近的图像作为指导。
论文地址:https://arxiv.org/pdf/2310.17994.pdf
在实验结果方面,研究人员使用了一组标准的新视图合成指标来评估各种方法,主要关注LPIPS。结果显示,ZeroNVS在零样本性能方面明显领先于其他方法,包括DS-NeRF、PixelNeRF等。此外,研究人员还引入了Mip-NeRF360数据集,来进一步测试单张图像的360度视图合成任务,结果仍然显示ZeroNVS表现出色。
总之,ZeroNVS是一项创新的技术,可以从单个图像生成多样的合成图像,聚焦于场景级的合成。它利用3D感知扩散模型和SDS蒸馏,采用新的相机表示和“SDS anchoring”来提高性能,从而在零样本性能方面取得显著成果。这一技术有望在计算机视觉和图像合成领域产生重要影响。
视觉中国旗下vcg.com上线AI创意工具 可对版权图片进行二创
视觉中国旗下网站vcg.com继上线首个AIGC应用产品——AI智能搜索后,再次上线AIGC新功能——基于生成式AI技术的创意工具。用户可通过使用AI创意工具——模特转换、插画转换功能在线对版权图片进行二次创作,从而获得更好的用户体验与更高的工作效率。站长网2023-05-08 15:14:270000真我GT5 Pro开售5分钟打破真我2023年所有新品首销纪录
今天上午十点整,真我GT5Pro迎来了现货首销。官方数据显示,开售仅5分钟,真我GT5Pro的销量就打破了真我2023年所有新品首销纪录,同时销量还超过了真我GT2Pro前三个月销量总和。这款手机的出色表现力和高性价比,在定价方面,真我GT5Pro十分有诚意,起售价3298元的版本就配备了12GB256GB存储组合,堪称是骁龙8Gen3最强卷王。0000Bing 在搜索结果中添加 AI 生成的标题
划重点:Bing现在使用人工智能生成搜索结果的标题Bing利用GPT-4技术生成更相关和有信息量的搜索结果用户可以通过设置标签来阻止显示AI生成的标题Bing现在正在利用人工智能生成一些搜索结果的标题。Bing宣布,它正在使用GPT-4技术,以使搜索结果更相关和有信息量,帮助用户更快地找到他们正在寻找的网站。站长网2023-11-16 17:11:360000ChatGPT将推企业版订阅 并允许用户关闭聊天记录
今日,OpenAI宣布,ChatGPT用户现在可以关闭聊天记录,OpenAI在ChatGPT中引入了关闭聊天记录的功能。在禁用聊天记录时开始的对话不会用于训练和改进模型,也不会出现在历史记录侧边栏中。这些功能从今天开始向所有用户推出,可以在ChatGPT的设置中找到,并且可以随时更改。站长网2023-04-26 08:39:480000