新图像合成模型LCM SD生成图片推导步骤减少至4步!
要点:
研究人员提出了一种新的图像合成模型,称为潜在一致性模型(LCM),可以在少步推理的情况下生成高分辨率的图像。
LCM是从预训练的潜在扩散模型(LDM)中有效地提取出来的,可以直接预测潜在空间中的概率流ODE的解,避免了多次迭代的需要。
LCM还引入了一种新的微调方法,称为潜在一致性微调(LCF),可以在定制的图像数据集上进行快速的少步推理,实现了文本到图像的生成。
图像合成是计算机视觉领域的一个重要研究方向,目标是根据给定的条件生成逼真的图像。近年来,潜在扩散模型(LDM)在这方面取得了显著的成果,能够生成高分辨率和高质量的图像。然而,LDM的一个主要缺点是它们需要进行多次迭代的采样过程,导致生成速度缓慢。
为了解决这个问题,本文受一致性模型的启发,提出了一种新的图像合成模型,称为潜在一致性模型(LCM)。LCM可以利用任何预训练的LDM,包括稳定扩散模型(SD),并通过少步推理生成高分辨率的图像。LCM的核心思想是将引导反向扩散过程视为求解一个增广概率流ODE(PF-ODE),并设计一个网络来直接预测该ODE在潜在空间中的解,从而减少迭代次数和计算量。
LCM可以从预训练的无分类器引导扩散模型中有效地提取出来,在只需要32个A100GPU小时的训练时间内,就可以生成768×768分辨率的高质量图像。以往我们用 SD 生成图片起码需要20步的推导步骤,但是使用 LCM 只需要4步就行,从一些测试结果看6-8步可能是一个理想的步骤。

项目地址:https://latent-consistency-models.github.io/
这个技术可以让4090在1秒钟生成10张512X512大小的图片.如果可以用在 Animetadiff 中的话可以大幅提高视频生成效率。
此外,论文还介绍了一种新的微调方法,称为潜在一致性微调(LCF),它专门用于在定制的图像数据集上微调预训练的LCM。LCF不需要教师扩散模型,只需要少量数据和训练步骤,就可以使LCM产生具有定制风格的图像。
论文在LAION-5B-Aesthetics数据集上对LCM进行了评估,结果表明LCM在文本到图像生成任务上达到了最先进的性能,并且具有快速、高保真、低失真和低噪声等优点。
论文还展示了LCM使用LCF在Pokemon和Simpsons两个定制数据集上生成图像的效果,证明了LCM具有良好的泛化能力和适应能力。
本文为图像合成领域提供了一种新颖且有效的方法,不仅提高了生成速度和质量,还降低了训练成本和数据需求。本文也为进一步探索潜在空间中的一致性和结构提供了一个有益的尝试。
调查显示:生成式AI工具撰写的新闻准确性较低,但更及时
划重点:⭐️调查显示,人们对由生成AI撰写的新闻的信任度较低,但这些新闻可能会更及时,成本更低。⭐️研究发现,ChatGPT是最广为人知的GenAI工具,但仅有少数人频繁使用。⭐️调查表明,人们普遍认为GenAI在科研、医疗、教育等领域有益,但对于就业安全、新闻报道等方面存在担忧。0000苹果发布iOS18.1正式版:iPhone能通话录音了
苹果公司今日推送了iPadOS18.1的正式版更新,继iOS18之后,这是一次重大的系统升级。海外用户期待已久的AppleIntelligence功能终于面向iPhone15Pro、iPhone16全系列等机型正式上线。站长网2024-10-29 12:08:290002知网被处5000万罚款 因运营的14款App存在违规行为
据中国网信网消息,根据网络安全审查结论及发现的问题和移送的线索,国家互联网信息办公室依法对知网(CNKI)涉嫌违法处理个人信息行为进行立案调查。站长网2023-09-06 18:30:500000天猫618,品牌如何打好“超级用户”存量战?
“没想到中了三个奖,太有过节的感受了!”今年618,在平台各大店铺加入会员后,方琳享受了一回被各种品牌“宠爱”的感觉:买玫珂菲彩妆中了350元礼包、给自家“主子”囤猫粮中了大宠爱满699元送525养宠礼盒,还抽中了“1元”的珀莱雅抗老修护礼包……站长网2024-07-02 16:06:060001告别5美元包邮,Temu和Shein还是比亚马逊便宜
跨境电商口中的“美区”再度上演TikTok式的一日反转。美国邮政服务(USPS)当地时间周二(2月4日)晚间宣布,从2月4日起暂停接收从中国内地和中国香港寄出的包裹,直至另行通知。不过仅半日,政策更改,美国邮政将继续接收来自中国内地和香港邮局的入境包裹。这场变动源于美国新任总统特朗普在2月1日签署的行政令:对进口自中国的商品加征10%的关税,同时取消800美元的免税政策,2月4日正式生效。0000