英特尔团队提出L-MAGIC新技术 通过结合语言模型让图像扩散模型生成高质量360度场景
在CVPR2024上,美国英特尔研究院的蔡志鹏博士及其团队提出了一种名为L-MAGIC(Language Model Assisted Generation of Images with Coherence)的新技术。这项技术通过结合语言模型和图像扩散模型,实现了高质量、多模态、零样本泛化的360度场景生成。
核心特点:
结合语言模型和扩散模型:L-MAGIC利用自然图像连接不同模态的输入,并通过条件扩散模型如ControlNet从各种模态输入生成自然图像。
迭代变形和填充:在获得自然图像后,L-MAGIC通过迭代变形(warping)和填充(inpainting)生成360度场景的多个视角,使用基于扩散的图像填充模型(如Stable Diffusion v2)生成缺失像素。
语言模型控制:L-MAGIC使用语言模型自动控制扩散模型,根据每个视角需要生成的场景内容,有效保持语言及扩散模型的泛化性。
多样化场景生成:L-MAGIC能够生成多样化的全局场景结构,无需微调,从而实现多样化场景的高质量生成。
多模态输入:除了自然图像,L-MAGIC还能接受文字、手绘草图、深度图等多种模态的输入。
实验结果表明:
L-MAGIC在图像到360度场景生成及文字到360度场景生成任务中均达到了SOTA(State of the Art)。
能够生成具有多样化360度场景结构的全景图,并且能够平滑地完成360度闭环。
除了文字和自然图像,L-MAGIC还能够使用ControlNet接受多样化的输入,如深度图、设计草图等。
技术应用:
L-MAGIC还能够利用深度估计模型生成场景的沉浸式视频和三维点云,为场景理解和可视化提供了更多可能性。
项目主页:https://zhipengcai.github.io/MMPano/
尽管巴菲特对ChatGPT感到惊叹,但他对AI投资仍持谨慎态度
本文概要:沃伦·巴菲特对人工智能和ChatGPT表达了谨慎态度。他承认自己对人工智能的了解还不足以投资,但看到了其在日常应用中的潜力。巴菲特对人工智能的长期利益表示不确定,并将其风险与原子弹的发明进行比较。最近,沃伦·巴菲特在接受CNBC采访时表达了对人工智能和ChatGPT的谨慎而又惊叹的态度。站长网2023-08-03 10:57:020000安恒信息发布“恒脑”安全垂域大模型
今日下午,安恒信息正式发布“恒脑・安全垂域大模型”,恒脑安全大模型具备恶意代码检测、威胁情报分析、自动化安全编排响应和安全教育等能力,可降低安全运营门槛,提升效率,帮助填补安全专家短缺问题。据悉,“恒脑・安全垂域大模型”后续将为安恒信息数据安全战略、MSS战略和人才战略三大战略提供发展源动力。站长网2023-08-28 17:55:040000AI视野:Midjourney正式上线Alpha网页版;OpenAI恢复会员注册;腾讯发布视频生成模型AnimateZero;微软发布小语言模型AI Phi-2
🤖📱💼AI应用Midjourney正式上线Alpha网页版!支持已生成图片设置参数回填MidjourneyAlpha全新升级,生成用户界面更便捷,成功生成1万张图片即可获得权限,可视化图像参数支持点击回填到提示词输入框,提升生成体验。截图自归藏【AiBase提要:】站长网2023-12-13 22:12:290000Meta发布Emu Video和Emu Edit 将颠覆文本到视频生成和图像编辑领域
**划重点:**1.🎨**EmuEdit**:革新图像编辑,通过文本指令实现精细控制,类似AdobePhotoshop的"生成填充"功能,支持局部和全局编辑、背景添加或移除、颜色和几何变换、物体检测和分割。站长网2023-11-17 10:14:000001Meta AI 发布 MMCSG数据集:使用 Project Aria 捕获的 25 小时以上的双向对话
划重点:-💡CHiME-8MMCSG任务专注于通过智能眼镜录制的对话转录挑战,旨在帮助研究人员解决活动检测和说话者分离等问题。-💡提出的模型利用多模态数据集MSCSG数据集,包括音频、视频和IMU信号,以提高转录准确性。-💡通过整合各种技术来改善实时对话的转录准确性,包括目标说话者识别/定位、说话者活动检测、语音增强、语音识别和对话。0000