NVIDIA 自动引导技术:改善扩散模型中的图像质量和变化
划重点:
- 💡 NVIDIA 提出的自动引导方法在扩散模型中使用较小的模型来引导生成过程,显著改善了图像生成的质量和多样性。
- 💡 通过自动引导方法,研究人员在 ImageNet-512和 ImageNet-64等基准测试中取得了新的记录成绩,实现了对图像生成质量的显著提升。
- 💡 这一创新方法在解决当前方法存在的局限性的同时,为生成高质量和多样化图像提供了更高效、更有效的解决方案。
NVIDIA 近期提出了一种名为自动引导的新方法,旨在改善扩散模型中图像的质量和变化,而不影响其与给定条件(如类标签或文本提示)的一致性。当前的方法通常会以牺牲多样性为代价来提高图像质量,从而限制了它们在医学诊断和自动驾驶等各种现实场景中的适用性。然而,克服这一挑战可以提升人工智能系统在生成逼真且多样化图像方面的性能,推动当前人工智能能力的边界。
目前解决这一挑战的方法主要是使用无分类器引导(CFG),它使用无条件模型来引导有条件模型。虽然 CFG 改善了提示对齐和图像质量,但降低了图像变化。这种权衡发生在图像质量和变化的影响在本质上是纠缠在一起的,难以独立控制它们。此外,CFG 局限于有条件生成,并存在任务差异问题,导致图像构成的偏斜和过于简化的图像。这些限制影响了方法的性能,并限制了它在生成多样化和高质量图像方面的应用。
NVIDIA 的研究人员提出了一种名为自动引导的新方法,它涉及使用主模型的规模较小、训练时间较短的版本来引导生成过程,而不是使用无条件模型。这种方法通过将图像质量与变化解耦,从而更好地控制这些方面,同时保持与主模型相同的条件,确保生成图像的一致性。这种创新方法显著提高了图像生成的质量和变化,在 ImageNet-512和 ImageNet-64等基准测试中刷新了记录,可以应用于有条件和无条件模型。
![](https://i.zz5.net/images/article/2024/06/08/095146714.jpg)
该方法的核心是训练主模型的规模较小、训练时间较短的引导模型。论文详细介绍了去噪扩散过程,通过反转随机损坏过程生成合成图像。研究人员使用 Fréchet Inception Distance(FID)和 FDDINOv2等指标对模型进行评估,结果显示图像生成质量有了显著提高。例如,在 ImageNet-512中使用小模型(EDM2-S),自动引导将 FID 从2.56提高到1.34,超越了现有方法。
广泛的定量结果证明了自动引导的有效性。该方法在公开可用的网络上实现了64×64和512×512图像分辨率的 FID 记录,表明图像质量有了显著提升,而没有牺牲多样性。评估包括比较不同方法的表格,展示了自动引导在 CFG 和其他基线方法上的优越性能。例如,该方法在 ImageNet 数据集上实现了87.5% 的准确率,超过了先前的最先进水平。
这种改进扩散模型中图像质量的新方法涉及使用模型的规模较小、训练时间较短的引导模型。所提出的自动引导方法克服了像 CFG 这样的现有方法的局限性。这种创新方法在基准测试中取得了最先进的成绩,显著推进了人工智能研究领域,为生成高质量和多样化图像提供了更高效、更有效的解决方案。
孟羽童离职两个月后,格力直播间怎么样了?
站长网2023-07-20 19:04:400000苹果正在开发「Apple GPT」人工智能项目:尚未计划推出
站长之家(ChinaZ.com)7月20日消息:据彭博社的MarkGurman报道称,苹果正在开发名为「AppleGPT」的人工智能项目,可能与OpenAI的ChatGPT相媲美。在过去几个月里,AI的研发对苹果来说已成为优先事项,因为聊天机器人服务和应用中的AI功能不断增加。站长网2023-07-20 12:59:280000出门问问发布2.5D数字人系统 WetaAvatar 4.0
出门问问最新发布的WetaAvatar4.0是一款基于多尺度3D模型的数字人系统,具有高度真实的外观和生动的表情,表现优于前代系统。目前,这一先进技术已经成功部署在出门问问的AIGC产品——「奇妙元」和「奇妙问」中。系统整合了强大的文案生成能力和高质量语音合成技术,确保数字人在讲话、唱歌或静音状态下都表现出色。站长网2024-04-08 12:47:460002AI公司澜码科技完成数千万元A轮融资
据36氪消息,大模型中间件厂商“澜码科技”完成数千万元A轮融资,该轮由IDG资本、联新资本、AtomCapital参与投资。澜码科技成立于2023年,致力于基于大语言模型打造新一代自动化平台。澜码科技基于底层的大语言模型,通过提供自动化平台,从而在效率场景下学习人们在PC/手机/会议等场景下的技能,建构出自己独特的多模态基础大模型。站长网2023-08-08 10:32:530000理想汽车2023年第三季度财报:交付105108辆汽车 同比增长296.3%
2023年11月9日,理想汽车公布2023年第三季度财报,季度交付量和财务表现均创历史最佳。其中,第三季度交付105,108辆,同比增长296.3%,本季度蝉联30万元以上SUV车型和30万元以上新能源汽车销量冠军。季度营收346.8亿元,同比增长271.2%。同期经营利润和净利润分别为23.4亿元和28.1亿元,实现连续四个季度盈利。站长网2023-11-09 16:51:040000