替换万物3D!Meta 推ReplaceAnything3D可用文本引导3D场景编辑
**划重点:**
1. 一种名为ReplaceAnything3D(RAM3D)的新型文本引导的3D场景编辑方法,可以替换场景中的特定对象。
2. 提出了Erase-and-Replace方法,通过文本提示实现对场景中的对象进行替换,保持多个视点的3D一致性。
3. 展示了RAM3D在各种现实3D场景中的多样性,演示了修改的前景对象与场景的整体融合,不影响整体完整性。
站长之家(ChinaZ.com)2月1日 消息:Meta联合伦敦大学学院研究院在一项研究中提出了一种全新的文本引导的3D场景编辑方法,被称为ReplaceAnything3D(RAM3D)。这一方法通过引入Erase-and-Replace策略,能够有效地替换场景中的特定对象,实现了文本提示下的高质量3D场景编辑。

替换3D场景中的特定对象一直是一个具有挑战性的任务,而RAM3D通过引入多个视点图像、描述待替换对象的文本提示和描述新对象的文本提示,实现了一种高效的Eraser-and-Replace方法。这种方法首先使用LangSAM和文本提示检测和分割要擦除的对象,然后提出了一种基于文本引导的3D修复技术,填充被移除对象遮挡的背景区域。接着,使用相似的文本引导的3D修复技术生成与输入文本描述相匹配的新对象,并确保新对象的质量最小。最后,将新生成的对象与修复的背景在训练视图中无缝合成,得到一致的多视图图像,用于新视图合成。
相比于2D图像,替换3D场景中的对象更具挑战性,因为需要保持多视图的一致性。为了解决这一挑战,RAM3D结合了大规模图像扩散模型的先验知识和学习到的3D场景表示。具体来说,通过结合预训练的文本引导图像修复模型和复合场景结构,RAM3D能够生成与原始场景协调一致的编辑后的3D场景,新对象与原始场景融合无缝。

简单的说,ReplaceAnything3D 模型 (RAM3D)是一种新颖的文本引导3D 场景编辑方法,可以替换场景中的特定对象。给定场景的多视图图像、描述要替换的对象的文本提示以及描述新对象的文本提示,擦除和替换方法可以有效地将场景中的对象与新生成的内容交换,同时保持多个视点的3D 一致性。
总的来说,RAM3D的贡献有三点:
1. 引入一种Erase-and-Replace方法,实现高分辨率的3D场景编辑,可以替换场景中的特定对象。
2. 提出了一个多阶段的方法,不仅能够替换对象,还能够移除和添加多个对象。
3. 展示RAM3D在多种场景类型上能够生成具有3D一致性的结果,包括前向和360°场景。
随着社交媒体平台和显示设备的不断发展,对高质量3D内容的需求不断增加。RAM3D为这一需求提供了一种高效的工具,使用户能够通过自然语言提示实现对3D场景的灵活编辑。这项研究对于游戏、电影、虚拟现实和混合现实等领域的3D内容创作和编辑具有重要的推动作用。
论文网址:https://arxiv.org/pdf/2401.17895.pdf
GitHub Copilot主创离职创业,抱怨项目奖金仅2万刀,自立门户打造日常生活AI助手
官网已开启排队申请GitHubCopilot彻底改变了编程,背后的最大功臣获得了多少报酬呢?从开始到最终正式发布,只有2万美元奖金和一个头衔提升。他是AlexGraveley,Copilot团队的首席工程师和主架构师。更离谱的是,他不光没有得到应得的报酬,上头的副总裁后来还对他说“你不配得到晋升”。钱没给到位,委屈也受了。Alex老哥干脆离职,自己创业。站长网2023-07-15 16:26:330001iPhone 15屏幕维修费用公布 无AppleCare+最高自费超3千
站长之家(ChinaZ.com)9月18日消息:iPhone15系列手机已开始预订,苹果也在官网公布了最新一代iPhone的维修费用。数据显示,如果没有购买AppleCare保险服务,iPhone15系列手机屏幕维修的自费费用最高可达3198元。站长网2023-09-18 11:28:560002快手第一季度营收294亿元 同比增长16.6%
2024年5月22日,快手公布了其2024年第一季度的业绩报告,再次展现了其稳健的盈利能力和商业运营效率。在这一季度中,快手不仅实现了全面盈利,而且盈利水平进一步提升,经调整净利润达到了43.9亿元,创下单季历史新高。站长网2024-05-22 20:33:080000AI换脸神器roop:提供一张脸部图片实现视频一键换脸
划重点:1.roop支持使用一张脸部图像替换视频中的面孔。2.不需要数据集或训练,只需选择所需的脸部图像。3.安装和使用需要一定的技术技能。站长网2023-08-16 16:45:520009周鸿祎点评国内各家GPT:各有特点 都能找到自己擅长做的题
快科技4月26日消息,最近一段时间,国内各大互联网企业都纷纷跟进了大模型技术,发布了类ChatGPT产品。比如百度推出了文心一言”,阿里巴巴推出了通义千问”等等,360也推出了360智脑,并且创始人周鸿祎也多次公开为自家的大模型产品进行宣传。今天他在某个论坛上展示360智脑时,对各家的大模型产品也进行了一番点评,称大家都能找到自己擅长做的题”。站长网2023-04-26 22:36:010001