训练效率提升40倍!开源图片生3D模型,Stable Zero123来啦
12月14日,著名生成式AI开源平台Stability.ai在官网开源了,图片生成高质量3D模型——Stable Zero123。
Stable Zero123是基于今年3月,丰田研究院和哥伦比亚大学联合开源的Zero123模型开发而成。主要通过更改渲染数据集和分数蒸馏对模型进行了大幅度优化,不仅生成的3D模型效果比Zero123更好,训练效率也提升了40倍。
值得一提的是,Stable Zero123可以与Stability.ai最新开源的高精准图片模型SDXL相结合使用,相当于3D模型扩展插件。
Stable Zero123开源地址:https://huggingface.co/stabilityai/stable-zero123
zero123开源地址:https://github.com/cvlab-columbia/zero123
zero123论文:https://arxiv.org/abs/2303.11328

Stable Zero123生成的3D模型示例
高质量数据集
高质量数据集已成为预训练大模型的重要环节之一,甚至超过了更多的神经元。
所以,Stability.ai对一个超过1000万个3D模型数据集Objaverse-XL进行了过滤,只保留高质量、精准、数据标注准确的模型。
这可以让Stable Zero123在生成的过程中更好的理解和生成3D模型。Zero123的最新模型XL也是基于该数据集训练而成。
Objaverse-XL地址:https://github.com/allenai/objaverse-xl
Stable Zero123简单介绍
由于Stable Zero123暂时没有开放论文,只能用Zero123为大家解读了。
其实这两个模型挺有意思的是互相学习。Zero123是基于Stability.ai开源的文生图模型Stable Diffusion进行了创新、微调,使其学会了控制相机的相对视角变换,然后基于视角的扩散方法进行去噪,最后使用3D重建方法进行模型重塑。
学习控制相机视角:Zero123通过一个合成数据集微调预训练了Stable Diffusion模型,使其学会相对相机视角变换的控制,而不破坏模型中的其他表示。
基于视角的扩散:将图像的CLIP嵌入与相对视角变换拼接作为条件信息,指导去噪过程。同时也将输入图像与正在去噪的图像拼接,帮助保持目标物体的识别度和细节。
两款模型生成效果的细节对比
3D模型重建:通过SJC优化一个体素辐射场表示,并使用基于视角的扩散模型进行监督。随机采样视角,利用Zero123合成对应视角下的图像,计算图像与体素渲染结果之间的得分,更新体素场。
这就能使Stable Diffusion模型输出的丰富2D纹理和形状,被完美地注入到了3D建模的过程中,形成3D模型。
目前,Stable Zero123模型主要用于研究,未来会开放商用。
本文素材来源Stability.ai官网、Zero123论文,如有侵权请联系删除
OpenAI被曝要搞「App Store」,专卖ChatGPT应用,网友:快搭生态,让苹果微软靠边站
OpenAI被曝还要再搞一个AppStore!这次不是插件商店这样的“小打小闹”,而是真正的大模型超市。据TheInformation消息,OpenAI将与第三方合作,将他们定制的垂直模型摆上来,建立一整个大模型生态。消息一出,网友就应声叫好:这可能会改变人工智能行业的游戏规则,因为大家能更容易地获取和使用到各种AI应用,一把子期待了。还有人立刻化身吃瓜群众:站长网2023-06-22 12:28:060000一定要把流量变成钱!!
各位村民好,我是村长许多人拥有100万粉丝,实际变现的价值连1万粉丝的账号都比不了。许多人做流量,做账号,都陷入了一个误区,唯流量论,而不是变现论。往往落得一个下场,就是数据挺好看,却一点也不赚钱。今天就和大家一起来聊聊,关于做自媒体,做营销活动中,在流量变现上犯的错。01流量不稳定,没用啊!许多人因为写了一篇爆文、拍了一个视频而异常兴奋,或者花了几千大洋投了流量。0000理想汽车10月共计交付新车40422辆 同比增长302.1%
理想汽车宣布,月交付量破四万,理想汽车2023年10月交付40,422辆。2023年10月,理想汽车共计交付新车40,422辆,同比增长302.1%,月交付首次突破四万辆大关。截至2023年10月31日,理想汽车全年累计交付284,647辆。此外,截至2023年10月31日,理想汽车在全国已有372家零售中心,覆盖133个城市;售后维修中心及授权钣喷中心315家,覆盖210个城市。站长网2023-11-01 16:58:2500003D软件公司Autodesk发布AI生成3D功能Project Bernini
划重点:⭐Autodesk展示了名为ProjectBernini的AI生成模型,可将文本或图像转化为3D模型⭐ProjectBernini可从文本提示、单个2D图、多个图像和点云等多种输入类型生成3D图像⭐Autodesk计划逐步推出一系列适用于不行业的生成式AI模型站长网2024-05-11 12:04:570000