SceneTex: 生成高质量、风格一致的室内场景纹理的新型AI方法
划重点:
1. 🌐 高质量3D内容合成是自动驾驶、机器人模拟、游戏、电影制作和未来虚拟/增强现实场景等多个应用领域的关键问题。
2. 🤖 SceneTex采用深度到图像扩散先验,以在室内场景网格中生成高质量且风格一致的纹理,克服了传统方法中的多个问题。
3. 🚀 研究团队使用多分辨率纹理和交叉注意力解码器,实现了全局样式一致性,提高了室内场景的纹理生成质量。
近日,慕尼黑工业大学和Snap Research的研究团队提出了一种名为SceneTex的全新AI方法,旨在解决室内场景纹理生成中的挑战,实现高质量、风格一致的3D内容合成。
传统上,尽管3D几何建模取得了长足进步,但创建物品外观或纹理仍然需要大量人工劳动,尤其是使用诸如Blender等3D建模程序。由于对人工技能的高需求和相关成本,自主纹理设计和增强一直未能完全实现工业化。最新的2D扩散模型在文本到3D创建中取得了进展,但将其扩展到整个场景的纹理生成仍然面临一些困难。

SceneTex通过采用深度到图像扩散先验,将纹理创建定位为RGB空间中的纹理优化挑战,与现有技术不同,后者通常是将2D视图反复映射到网格表面。研究团队引入了多分辨率纹理字段,以微妙地描绘网格外观,并使用交叉注意力解码器减少自遮挡引起的样式不一致性。他们的设计能够在低频和高频适应性地学习外观信息,通过全局引用确保每个模型内部的全局样式一致性。
在实际应用中,每个解码的RGB值通过与分布在每个对象上的预采样参考表面位置进行交叉引用而生成。通过为每个可见位置提供整个实例外观的全局引用,研究团队进一步确保了每个模型内部的全局样式一致性。SceneTex的研究团队通过对3DFRONT数据集的用户研究表明,该技术在2D指标(如CLIP和Inception得分)方面优于其他基于文本的纹理创建算法。

SceneTex通过创新性地使用深度到图像扩散先验,提出多分辨率纹理和交叉注意力解码器,成功实现了室内场景的高质量、风格一致的纹理生成。研究团队的技术贡献包括在高分辨率下生成高质量场景纹理的独特框架,通过多分辨率纹理准确捕捉丰富的纹理特征,并使用交叉注意力纹理解码器为3D-FRONT场景生成更具审美感和风格一致性的纹理。详细信息请查看论文、Github和项目。
该研究为未来实现更先进的3D内容生成和应用提供了有力支持,为行业发展开辟了新的方向。
项目网址:https://daveredrum.github.io/SceneTex/
今天母亲节!华为推出北斗卫星定制消息:手机没网也能发祝福
快科技5月14日消息,今天是一年一度的母亲节”,你是选择给妈妈送礼物、转账,还是回家陪妈妈吃饭呢?可能你因工作、学习等原因身在天涯海角,无法回家为妈妈做顿饭或陪着逛公园,但你依然可以通过电话、微信、短信的方式为妈妈送上祝福。站长网2023-05-14 15:27:140000华为nova11 SE发布 搭载鸿蒙Harmony OS 4售价1999元起
华为nova11SE手机今日发布,售价1999元起,今日11:08开启预售。华为nova11SE配备1亿像素主摄和骁龙680处理器。这款手机采用了星耀环镜头模组设计,拥有多种配色可选,重量仅为186g,轻薄便携。其配备的6.67英寸OLED直屏具有90Hz刷新率、100%P3广色域、10.7亿色等高端显示功能。站长网2023-10-31 11:07:500000竹间智能发布“1+4”大模型产品体系 帮助企业构建专属大模型
竹间智能最近推出了一套“14”大模型产品体系,旨在推动企业数智化转型。其中,“1”代表大型模型训练调优平台EmotiBrain,“4”则包括KKBot、BotFactory、EmotiCoach、MagicWriter和KnowledgeFactory等四种核心产品,分别涵盖对话、对练培训、写作助手和知识管理四个方面的产品。站长网2023-06-21 16:47:440002中国移动推出“数智人状态彩铃”
中国移动最近发布了全球首款“数智人状态彩铃”。用户可以设置自己喜欢的数智人形象,在朋友来电接通前,以更生动的方式展示自己的实时状态。在免费体验期间,用户可以免费使用数智人状态彩铃。需要注意的是,免费体验暂定于2023年10月7日结束。有需要的用户可以在微信小程序搜索“咪咕音乐视频彩铃”,或发送短信123至10086一键直达。站长网2023-08-21 15:04:490000三星 One UI 6 更新新增 AI 相机功能 旨在提升摄影体验
站长之家(ChinaZ.com)10月31日消息:三星日前发布了OneUI6更新,为Galaxy系列手机的相机应用带来了多项新功能,无论是专业摄影师还是普通手机用户,都能从中受益。新功能主要集中在新的三星GalaxyEnhance-X应用中,该应用旨在简化拍照流程,并确保每张照片的质量。三星GalaxyEnhance-X应用站长网2023-10-31 10:27:060000