秒杀Instant3D!上交大推新框架Bootstrap3D 显著提升3D生成能力
站长网2024-06-11 18:06:510阅
上海交大和香港中文大学的研究团队推出了一个名为Bootstrap3D的新框架,它通过结合微调的3D感知多模态大模型,能够自动生成任意数量的高质量多视角图片数据,显著提升3D生成模型的能力。这个框架的合成数据集已经全面开源,供研究人员和开发者免费使用。
![](https://i.zz5.net/images/article/2024/06/11/180651711.png)
关键特点:
数据构建Pipeline:自动生成多视角图像数据和详细描述文本,是框架的核心创新之一。
文本提示生成:使用大语言模型生成创意和多样化的文本提示,为图像生成提供素材。
图像生成:结合2D扩散模型和视频扩散模型,根据文本提示创建单视图图像。
多视图合成:将单视图图像扩展为多视角图像,确保不同视角下的一致性。
质量筛选和描述重写:通过3D感知模型MV-LLaVA对图像进行质量筛选和描述文本的重写。
此外,研究团队还提出了**训练timestep重安排(TTR)**策略,优化去噪过程的不同阶段,解决多视图扩散模型训练中的图像质量和视图一致性问题。TTR策略限制合成数据的训练时间步,主要参与早期去噪阶段,而真实数据参与所有时间步的训练,提供高频细节和真实感。
实验结果证明,使用TTR策略的多视图扩散模型在图像-文本对齐、图像质量和视图一致性方面表现优异,有效提升了多视图生成的效果。
项目地址:https://top.aibase.com/tool/bootstrap3d
0000
评论列表
共(0)条相关推荐
《庆余年2》福利加码:庆人圆梦,“点单”更自由
时隔五年,「剧王」回归。从官宣定档到现在,《庆余年2》已打破多项记录:播出前近1800万人预约,刷新全网电视剧最高预约历史;开播以来站内热度值突破34000,创腾讯视频热度值历史最高纪录;站外连续登顶猫眼、灯塔、云合、Vlinkage等多个行业数据分析榜单,远超同期其他剧集。这样的盛况也点燃了观众的追剧热情,庆人们“显微镜”式追剧,不错过每一点细节,看完之后又在社交平台上疯狂“安利”催更:站长网2024-05-24 10:42:510000百度文心大模型4.0正加紧训练 已接近可发布状态
据《科创板日报》报道,百度正在加速训练文心大模型4.0,并预计在10月17日的百度世界大会上发布。这个新版本的大模型是继文心大模型3.5之后的又一重要升级,将着重在基础模型上实现大提升。有消息称,文心大模型4.0的进展比预期要快很多,其核心能力将得到显著提升,包括理解、生成、逻辑和记忆等方面。特别是在逻辑推理、代码和数学等方面,该模型的进步最为明显。站长网2023-10-09 08:17:000000雷军直播:卡里没有冰冷的40亿 不是爽文男主
4月18日,小米汽车的交付中心成为了直播的焦点,小米的创始人兼董事长雷军在此与广大网友展开了一场别开生面的互动。他特别选在这个场合,与大家深入探讨了小米SU7开售以来的种种话题。站长网2024-04-19 09:10:480001一次拥有6个“赛博女友”,男性玩家的情绪价值能变现了?
拥有三千后宫佳丽,似乎是不少男性难以触碰的梦想。但最近,《完蛋!我被美女包围了!》却将这个梦想实现了一小部分。自10月末上线后,《完蛋!我被美女包围了!》就迅速登上了Steam国区畅销榜首。只要花42元就能和六大性格各异的真人美女谈恋爱,做一回“赛博韦小宝”,因此很快吸引了大量的男性玩家。站长网2023-11-03 18:02:490000SpaceX发布新一代Starlink终端 结构优化视野提升网络增强
科技公司SpaceX最近悄然为其星链卫星互联网服务推出了一款新的标准终端。与早期型号相比,新终端在外形和功能上都有显著优化。新终端相较前代产品更为纤薄轻巧。其尺寸缩减了约20%,重量仅为7.5公斤。新终端的视野范围扩大了10%,达到55度。这将让用户更便于调整设备的方向,获得更佳的网络信号。站长网2023-11-20 10:41:560002