Adobe研究人员研发新AI模型LRM:实现从2D样本瞬时生成3D图像
**划重点:**
1. 💡 Adobe Research和澳大利亚国立大学(ANU)联合宣布,他们研发出首个能够从单一2D图像生成3D图像的人工智能模型。
2. 💻 新算法基于大规模图像样本训练,能够在几秒钟内生成高质量的3D图像,该算法采用了名为LRM(Large Reconstruction Model)的高度可扩展神经网络,包含一百万数据集和五亿参数。
3. 🚀 LRM的成功在于其能够利用数百万图像参数的数据库,并预测神经辐射场(NeRF),从而仅基于2D图像生成逼真的3D图像,即使这些图像是低分辨率的。
由Adobe Research和澳大利亚国立大学(ANU)联合研发的人工智能模型宣布了一项突破性的成果,能够从单一的2D图像中生成3D图像。
研究人员表示,他们的新算法在大规模图像样本上进行训练,可以在几秒钟内生成这样的3D图像。该算法采用了名为LRM(Large Reconstruction Model)的高度可扩展神经网络,包含一百万数据集和五亿参数,涵盖图像、3D形状和视频等多种数据。

该项目的领导作者、澳大利亚国立大学工程、计算和控制学院的毕业生、Adobe实习生Yicong Hong表示:“这种高容量模型和大规模训练数据的结合使得我们的模型具有很强的泛化能力,能够从各种测试输入中产生高质量的3D重建。”
据Hong介绍,早期的3D成像软件只在特定主题类别中表现良好,后来的图像生成进展是通过程序如DALL-E和Stable Diffusion实现的,它们利用了2D扩散模型的卓越泛化能力以实现多视图。然而,这些程序的结果仅限于预训练的2D生成模型。
其他系统利用每形状优化来取得令人印象深刻的结果,但根据Hong的说法,它们“通常缓慢且不切实际”。他指出,利用大规模数据的巨大变压器网络内的自然语言模型的发展激发了他的团队提出一个问题:“是否可能学习从单一图像重建对象的通用3D先验?”他们的答案是“是”。
“LRM可以从现实世界中捕获的各种图像以及由生成模型创建的图像中重建高保真度的3D形状。” Hong说道,“LRM也是下游应用的高度实用解决方案,因为它可以在仅五秒钟内生成一个3D形状,无需后期优化。”
该程序的成功在于其能够利用数百万图像参数的数据库,并预测神经辐射场(NeRF)。这意味着它能够仅基于2D图像生成逼真的3D图像,即使这些图像是低分辨率的。与之前的3D软件相比,该模型的突破性在于其快速、高效地生成高质量的3D图像,为增强现实、虚拟现实系统、游戏、影视动画和工业设计等领域带来了转变。

总的来说,LRM(Large Reconstruction Model)是一种用于从单张图像生成高保真度3D物体模型的模型。LRM通过采用大规模数据和高容量模型的组合,实现了从单张图像到3D模型的快速而准确的重建。以下是LRM的主要功能特色:
1. 快速生成:LRM能够在短短5秒内,从单张输入图像中生成高保真度的3D物体模型。
2. 大规模训练:与许多先前的方法不同,LRM采用了高度可扩展的基于transformer的架构,具有5亿个可学习参数,用于直接预测神经辐射场(NeRF)。
3. 数据多样性:模型以端到端的方式在包含大约100万个对象的大规模多视图数据上进行训练,包括Objaverse的合成渲染和MVImgNet的实际捕捉数据。
4.高通用性: 由于高容量模型和大规模训练数据的结合,LRM具有很强的通用性,能够从各种测试输入中生成高质量的3D重建,包括真实世界中的野外捕捉和生成模型的图像。
5. Transformer-Based架构:LRM采用了完全可微分的transformer-based编码器-解码器框架,通过预训练的视觉模型(DINO)对输入图像进行编码,使用大型transformer解码器通过交叉注意力将图像特征投影到3D三平面表示,然后通过多层感知器预测体积渲染的点颜色和密度。
项目页面:https://yiconghong.me/LRM/
Stefano Rivera分享交互式“MR木偶秀” 利用ChatGPT+Midjourney+Figmin制作
StefanoRivera分享了利用AI工具制作交互式“MR木偶秀”。利用ChatGPT进行创意和内容策划。Dall-E3和Midjourney生成2D图像。使用tripoai将2D平面图像转化为3D渲染效果。使用Figmin制作场景。音乐由@suno_ai_作曲,语音由elevenlabsio提供。站长网2024-01-22 11:05:470000YouTube 正在全力发展人工智能:为创作者推出一系列 AI 驱动的新工具
站长之家(ChinaZ.com)9月22日消息:在YouTube平台上,将有更多内容部分采用生成式人工智能来创作。该视频平台在周四的年度YouTube创作活动上宣布了几个新的AI工具支持创作者。其中,今年晚些时候或明年推出的功能包括:AI生成的照片和视频背景、AI视频主题建议和音乐搜索等。站长网2023-09-22 09:37:280000广州:鼓励民营企业积极参与人工智能应用场景建设
广州发改委发布广州市促进民营经济发展壮大的若干措施。其中提到,打造和开放创新应用场景。聚焦应用场景示范,鼓励民营企业积极参与人工智能应用场景建设。在智能制造、智慧城市、智慧交通、智慧教育、智慧医疗等多个领域加大应用场景开放力度,支持民营企业参与应用场景设计与建设,促进人工智能与其他产业链的融合和赋能。依托行业专业机构牵头组织人工智能企业产业场景应用对接,加快产品产业转化。站长网2023-08-02 16:50:010000B站150万UP主赚到钱了!正式会员突破2亿
快科技6月1日消息,B站今日公布了截至2023年3月31日的第一季度未经审计财报,财务状况持续改善,用户量稳定增长。当季,B站取得收入50.7亿元人民币,其中广告业务收入12.7亿元,同比增长22%,同时毛利润同比增长37%,毛利率从16%提升至22%,减亏成果显著,净亏损同比收窄72%。站长网2023-06-02 11:58:2700003个月涨粉880万,蓝战非活成了“打工人的终极梦想”
3个月涨粉880万,抖音出现又一个顶流旅行创作者。不久前,“蓝战非”第一次踏上南极。萌萌的企鹅、宝石般的冰川……世界尽头的美景在震撼他的同时,也俘获了无数网友。截至发稿前,这条视频累计获赞788万,成为2024年抖音最火的旅行视频之一。0000