Instruct-NeRF2NeRF,这个AI模型可以让用户通过文本编辑3D场景
Instruct-NeRF2NeRF 使用生成式 AI 模型的方法,可以根据文本输入编辑3D 场景。
今年早些时候,加州大学伯克利分校的研究人员展示了InstructPix2Pix,这是一种允许用户使用文本指令在 Stable Diffusion 中编辑图像的方法。例如,该方法可以替换图像中的对象或更改样式。
InstructPix2Pix项目网址:https://huggingface.co/spaces/timbrooks/instruct-pix2pix

注:文中图片均来自Instruct-NeRF2NeRF 项目视频案例截图
现在一些研究人员已经将他们的方法应用于编辑 NeRFs。Instruct-NeRF2NeRF 从经过训练的 NeRF 和用于训练的图像开始,可以根据文本提示一张一张地编辑训练图像,并使用这些编辑后的图像重新训练 NeRF。
注:NeRF(Neural Radiance Field,神经辐射场)模型是一种利用多层感知器(MLPs)进行隐式神经场景体绘制的新型视图合成方法。到目前为止,NeRFs主要用作3D模型和3D场景的一种神经存储介质,然后可以从不同的相机视角进行渲染。
Instruct-NeRF2NeRF 支持简单物体和真实场景
该团队展示了如何使用这种方法给头部戴上牛仔帽、将其变成3D 油画、将其变成蝙蝠侠或将其变成爱因斯坦等。



其它的例子还有改变自然拍摄的季节、时间或天气;改变一个人的衣服。


该团队称,该方法“能够编辑大规模、真实世界的场景,并且能够比之前的工作完成更逼真、更有针对性的编辑。”
Instruct-NeRF2NeRF 根据迭代编辑的图像更新 NeRF。此任务由 InstructPix2Pix 执行,它以文本输入为条件。
Instruct-NeRF2NeRF 需要10到15GB 的显存
该团队正在发布三个不同版本的 Instruct-NeRF2NeRF,它们需要15到10GB 的 RAM 视频内存。最大的版本提供最佳的结果。
这种新方法将AI技术应用于3D场景处理,可以实现更准确的编辑操作,并为研究提供了新的可能性。这种模型有利于加速图形处理领域的创新,为人类创造更好的视觉体验提供了新的思路。
Instruct-NeRF2NeRF 项目页面上提供了更多示例、代码和模型。
Instruct-NeRF2NeRF项目网址:https://the-decoder.com/instruct-nerf2nerf-lets-you-edit-nerfs-via-text-prompt/
立省三五块,年轻人爱上拼单自提奶茶
零食要买临期打折的,外出就餐先看团购和优惠券,购物精打细算凑满减……当下年轻人不再炫富而是“炫省”,他们搜罗着各式各样的省钱小妙招,追求性价比消费的品类密度,如今已经精确到了一杯十几块钱的奶茶,省钱阈值低至两三元钱。0000Windows最新份额公布:最低的不是XP
快科技2月8日消息,近日,StatCounter公布了1月份Windows全球市场份额的分布情况。其中,Windows10以66.47%的份额排名第一,份额最低的并非生命期最长的WindowsXP。具体来看,1月份,Windows10的份额来到66.45%,比去年12月份67.42%微降。Windows11则由去年12月份的26.54%提升到27.83%。二者合计份额达到了94.28%。站长网2024-02-08 15:42:290000国家网信办等七部门发布《生成式人工智能服务管理暂行办法》
据网信中国公众号消息,近日,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》,自2023年8月15日起施行。国家互联网信息办公室有关负责人表示,出台《办法》,旨在促进生成式人工智能健康发展和规范应用,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益。站长网2023-07-14 09:50:380000全能AI互动平台“智元兔“:支持AI设计、文案生成等60多个应用场景
智元兔是一个基于大模型的智能语义理解与互动平台。它整合了多种前沿AI技术,可以提供包括智能写作、翻译、对话、知识问答等在内的一站式服务,助力用户实现工作、学习、生活等方面的高效协同。产品体验网址:https://www.aitobc.com站长网2023-08-29 11:28:030000谷歌取消与AI数据公司Appen的合同,曾帮助训练Bard等产品
**划重点:**1.🚫谷歌终止与澳大利亚数据公司Appen的合同,该公司曾为Bard、Search等产品提供大语言模型AI训练。2.💼Appen的人工工作者对AI训练发挥着关键作用,但常常面临低薪问题,部分员工曾要求涨薪未果。3.💰Appen在2023财年从谷歌的收入达到8,280万美元,但此次合同终止导致公司面临重大收入影响。站长网2024-01-24 09:44:000001