登陆注册
1521

OpenAI 发布新的文本生成 3D 模型 Shap-E:比 Point-E 更快更好

站长网2023-05-09 14:37:320

OpenAI 最近分享了他们在将文本提示转化为 3D 物体方面的最新探索,名为 Shap-E。这款生成式 AI 工具提供了一种新的方式来生成 3D 物体,其制作的物体比去年发布的 Point-E 模型更好、更详细、更准确。

截自Shap-E GitHub 页面

OpenAI 构建了 Shap-E 作为文本到 3D 模型生成器,能够生成细粒度纹理和复杂的详细形状。而 Point-E 根据文本提示生成 3D 点云,Shap-E 直接创建物体的轮廓,并采用了名为神经辐射场(NeRFs)的特性来克服之前模型的模糊性。NeRFs 是虚拟和增强现实中使用的技术,可以使三维场景看起来像是真实照片一样。

Shap-E 将这项技术应用于更常见的扩散模型,以形成与文本提示所建议的物体形状和纹理。该过程也比 Point-E 快得多。在单个 NVIDIA V100 GPU 上,集合中的每个 Shap-E 样本生成时间约为 13 秒,而 Point-E 在相同硬件上渲染可能需要多达两分钟的时间。

研究人员解释道:「我们发现,在相同的数据集、模型架构和训练计算资源的条件下,Shap·E 与类似的显式生成模型相匹配或超越其性能。我们还发现,我们的纯文本条件模型可以生成多样化、有趣的物体,而无需依赖图像作为中间表示。这些结果突显了生成隐式表示的潜力,特别是在像三维领域这样的领域,隐式表示比显式表示更具灵活性。」

Shap-E 的开发者承认,与 Point-E 的点云方法相比,大规模使用的计算能力可能较高。这款 AI 在理解如何制作一些复杂物体方面仍然存在困难,但总体而言,其结果在成功方面非常显著。

0000
评论列表
共(0)条