CRM:上传图片生成3D模型,10秒搞定
划重点:
1. 🚀Convolutional Reconstruction Model(CRM)是一种高保真度的前馈单图像到3D生成模型,充分考虑了稀疏3D数据的限制,强调了在网络设计中整合几何先验的必要性。
2. 🖼️CRM通过生成六个正交视图图像,经过卷积U-Net处理,利用其强大的像素级对齐能力和显著的带宽,创建了高分辨率的三平面
3. ⏱️ 模型在仅10秒内从图像中生成高保真纹理网格,无需任何测试时优化。
近期,清华大学的研究团队在图像处理领域取得了重要进展,他们提出了一种名为Convolutional Reconstruction Model(CRM)的前馈式单图像到3D纹理网格生成模型。与传统的大型重建模型(LRM)相比,CRM在生成速度上表现出色,同时克服了基于Transformer的方法在几何先验方面存在的不足。
传统的3D生成模型虽然在生成速度上有所突破,但由于Transformer方法未充分利用三平面组件的几何先验,导致在有限的3D数据和缓慢的训练情况下质量不佳。为了解决这一问题,研究团队提出了CRM,一个高保真度的前馈式单图像到3D生成模型。
CRM的关键观察是,三平面的可视化呈现出六个正交图像的空间对应关系。模型首先从单个输入图像生成六个正交视图图像,然后将这些图像输入卷积U-Net进行处理,利用其强大的像素级对齐能力和显著的带宽,创建高分辨率的三平面。与此同时,CRM采用Flexicubes作为几何表示,实现对纹理网格的直接端到端优化。
整个推理过程仅需要在A800GPU上花费约10秒的时间,其中包括U-Net的前向传播(不到0.1秒)、查询表面点的UV纹理和文件I/O。与传统方法相比,CRM从图像中仅需短短的时间就能生成高保真度的纹理网格,无需在测试时进行任何优化。
图中,展示了整个方法的流程。输入图像首先经过多视图图像扩散模型,生成六个正交图像。然后,另一个扩散模型用于生成基于这六个图像的CCMs(conditional convolutional masks)。最后,这六个图像和CCMs一起输入CRM,重建最终的纹理网格。
研究团队通过生成的纹理网格展示了CRM的性能,包括玫瑰、青蛙、大象、哆啦A梦、猫和校车等互动网格。同时,CRM还展示了其在创建类似乐高风格的对象方面的潜力。
在与现有方法的比较中,CRM展现出了卓越的性能和效率。研究团队通过BibTeX引用了他们的工作,这表明了对该模型的高度认可。
这一项研究为单图像到3D纹理网格的生成提供了一种新的前馈式模型,具有卓越的速度和质量,为图像处理领域带来了新的可能性。
项目入口:https://top.aibase.com/tool/crm
被AI大牛押注的智能体,国内发展得怎样了?
前段时间,前特斯拉总监、OpenAI大牛Karpathy的一句话,引起了业内的关注。在7月初的一次开发者大会上,Karpathy声称:“我被自动驾驶分了心,AI智能体才是未来!”并表示将来会全力投入对智能体的研发工作中。其实,早在2016年,当Karpathy开始在OpenAI工作时,就已经锚定了智能体的方向,只是由于当时的研究方法还不成熟,所以Karpathy才转去做了自动驾驶。站长网2023-08-03 10:41:310000京东:造谣“刘姓商人涉嫌违法被抓”的违法人员已被行政拘留
今日,京东官方发文称,据北京公安机关反馈,发帖造谣“刘姓商人涉嫌违法被抓”的违法人员梁某某,现已被公安机关依法行政拘留。请大家不信谣、不传谣,共同维护清朗的网络环境。据了解,今年10月,京东表示,关注到有谣言称“刘姓商人涉嫌违法被抓“,该谣言被别有用心的人刻意发布在京东相关新闻动态下,以混淆视听、操纵舆论。对此恶劣行径表示强烈愤慨,并已向公安机关报案。站长网2023-12-11 11:42:470000研究表明,全球十分之一大公司大规模投资人工智能
划重点:-📊仅全球十分之一的科技领袖已实施大规模人工智能项目。-💡尽管对生成式人工智能的热情高涨,但投资人工智能的公司比例在过去五年未发生变化。-💼现金紧缺和新兴技术风险是抑制大规模人工智能投资的两个主要原因。新研究显示,全球范围内,仅有很少的科技领袖已经实施了大规模人工智能(AI)项目。站长网2023-10-30 10:23:240000马斯克加入AIGC大战!火速抢购1万张GPU,挖Deepmind墙角
马斯克入局AIGC大战,紧急抢购约1万张GPU!什么概念?特斯拉最强超算Dojo也不趁这么多。Dojo在2022年升级后公布的数据是7360块A100,虽然这次买的什么型号还不清楚,但光从数量来说也足够恐怖。据BusinessInsider消息,这1万显卡是买给推特的。爆料者称,推特版GPT已在准备中,而且推特本身就拥有海量数据,存在一定优势。站长网2023-04-12 14:14:3300011孩子王将推出KidsGPT 预计“六一”期间发布
5月16日,孩子王在互动平台表示,孩子王“智能育儿顾问KidsGPT”已经初步实现了智能对话、智能绘图、智能商品及服务推荐等功能,目前正在内测阶段。孩子王称,KidsGPT将在今年“六一”童玩节期间正式推出,更好地服务中国亲子家庭,实现“让每个童年更美好”的使命。站长网2023-05-17 08:47:380000