SteinDreamer:改进的文本到3D生成技术 速度更快、纹理结构更精细
划重点:
- 🌐 文本至3D生成领域的最新研究,由德克萨斯大学奥斯汀分校和Meta Reality Labs的研究人员共同推出SteinDreamer。
- 🚀 SteinDreamer集成了Stein Score Distillation(SSD)技术,成功解决了在3D合成中存在的梯度估计的高方差问题。
- 🖼️ 在对象和场景级别的3D生成中,SteinDreamer的性能超越了DreamFusion和ProlificDreamer,呈现出更精细的纹理、精确的几何结构,并有效减轻了Janus和幽灵伪影等问题。
最近,德克萨斯大学奥斯汀分校和Meta Reality Labs的研究人员联手推出了SteinDreamer,该技术集成了Stein Score Distillation(SSD)技术,以改进文本至3D生成领域的梯度估计高方差问题。这一技术的突破对于自动化和加速虚拟现实、电影和游戏中的3D资产创建具有重要意义。
文本至图像生成领域的最新进展,受到扩散模型驱动的启发,引发了对文本引导的3D生成的关注。这一技术旨在为虚拟现实、电影和游戏等领域的3D资产创建提供自动化解决方案。然而,在3D合成中存在着挑战,包括高质量数据的稀缺性以及使用3D表示进行生成建模的复杂性。为解决3D数据匮乏的问题,一些研究人员提出了分数蒸馏技术,利用2D扩散模型进行训练。然而,这一方法存在噪声梯度和不稳定性的问题,这源于去噪不确定性和小批量大小,导致收敛缓慢和亚优化解的产生。
SteinDreamer的研究团队将提出的Stein Score Distillation(SSD)技术整合到文本至3D生成的流程中。SSD成功解决了在分数蒸馏过程中存在的方差问题,特别是在梯度估计方面。在3D对象和场景级别生成方面,SteinDreamer的性能超越了DreamFusion和ProlificDreamer,提供了详细的纹理和精确的几何形状,减轻了Janus和幽灵伪影等问题。SteinDreamer通过降低方差加速了3D生成的收敛,减少了迭代次数。
SSD与现有其它技术生成作品对比:
总体而言,SteinDreamer作为文本至3D生成领域的创新性解决方案,通过引入SSD技术,不仅改进了梯度估计的方差问题,还在对象和场景生成方面取得了显著的视觉质量提升。该技术的实施提供了更稳定的梯度更新,使其在收敛速度上超过了现有方法。实证结果显示,相较于SDS,VSD的性能始终更出色,表明它们的数值估计方差存在显著差异。SteinDreamer通过SSD技术呈现出更丰富的纹理和较低级别的方差,相较于SDS产生了更少的过饱和和过度平滑的伪影。
论文:https://arxiv.org/pdf/2401.00604.pdf
Luma AI发布Discord机器人Genie,实现文本生成3D模型
划重点:LumaAI发布了一款名为Genie的Discord机器人,它可以从文本提示生成3D内容,并在大约20秒内提供四个简单的3D模型。有望在游戏开发和虚拟制作领域找到应用,简化了复杂3D资产的创建,使艺术家有更多时间进行改进。目前,Genie作为研究预览版本免费提供,但将在未来推出付费服务。站长网2023-11-03 10:42:130000微软必应聊天将非Edge浏览器的文本输入量提升至4000个
微软近日对非Edge浏览器访问必应聊天的字符数限制进行了放宽,将用户输入的文本数量从2000个提升至4000个,但每个主题对话依然仅限5轮。这意味着用户在每个主题下的对话仍然需要在5轮以内完成,这可能会对一些用户造成不便。然而,微软可能会根据用户反馈和市场需求进一步增加对话轮次的限制。站长网2023-10-27 15:27:520000上海AI实验室开源“书生·万卷”1.0多模态预训练语料
上海AI实验室联合语料数据联盟成员共同开源发布了高质量多模态预训练语料“书生・万卷”1.0。据悉,这个语料库包含了文本数据集、图文数据集和视频数据集,总量超过2TB。其中包括超过5亿个文本、2200万个图文交错文档和1000个节目影像视频。这些数据经过细粒度清洗、去重和价值对齐等处理,具备多元融合、精细处理、价值对齐和易用高效的特点。站长网2023-08-15 09:34:210000美国证券交易委员会担心生成式AI会加剧金融市场风险
美国证券交易委员会(SEC)对生成式人工智能对金融市场的影响表示担忧。美国SEC主席GaryGensler在一次演讲中表示,生成式人工智能可能会增加金融市场的风险,因为它可能会导致金融机构使用不准确或不相关的信息做出错误决策。站长网2023-07-18 12:38:530000FF:将向歌手Chris Brown交付FF91 2.0 Futurist Alliance
就在刚刚,FF(FaradayFuture)宣布,全球顶尖音乐传奇和企业家ChrisBrown将成为下一任FF912.0FuturistAlliance车主和开发者共创官,并将在此后的“交付共创日”上接收他的车辆。Brown先生在他洛杉矶的家中招待了FF的创始人兼首席产品及用户生态官贾跃亭先生,他们讨论了FF912.0的卖点和亮点,并正式开始了共创。站长网2023-10-10 11:42:240000