登陆注册
19346

个性化扩散模型微调方法DiffuseKronA:个性化扩散模型微调方法,大幅减少参数、合成高质量图像

站长网2024-02-28 15:40:240

划重点:

⭐️ 新方法 DiffuseKronA 采用 Kronecker 乘积模块,在保持高质量生成的同时,显著减少参数数量。

⭐️ 与现有模型相比,DiffuseKronA 在生成图像质量、文本 - 图像对应性和参数效率方面表现出色。

⭐️ 通过实验和对比,证明 DiffuseKronA 相比 LoRA-DreamBooth 更稳定、更具可解释性,且在参数效率和模型稳定性上表现更优。

近期,针对文本到图像(T2I)生成模型领域中的个性化主题驱动模型,出现了一些令人印象深刻的进展,如 DreamBooth 和 BLIP-Diffusion。然而,这些模型普遍存在着对微调的需求较高和参数规模庞大的限制。

为了解决这些问题,研究人员引入了 DiffuseKronA,这是一种基于 Kronecker 乘积的自适应模块,不仅可以将可训练参数数量显著降低多达35%,与 LoRA-DreamBooth 相比甚至降低了99.947%,还提高了图像合成的质量。DiffuseKronA 减少了对超参数敏感性的问题,提供了一致高质量的生成图像,从而减少了对大量微调的需求。

关键是,DiffuseKronA 减轻了对超参数敏感性的问题,能够在一系列超参数范围内提供一致的高质量生成,从而减少了对大量精细调整的必要性。此外,更可控的分解使 DiffuseKronA 更具解释性,甚至可以实现高达50% 的减少,并且结果与 LoRA-Dreambooth 相媲美。

DiffuseKronA 的主要思想是利用 Kronecker 乘积来分解 UNet 模型中注意力层的权重矩阵,以实现高效的参数优化。与 LoRA 中的低秩分解相比,DiffuseKronA 的 Kronecker 适配器提供了更高阶的逼近,参数数量更少,灵活性更大。通过实验,DiffuseKronA 在生成图像的稳定性和文本对齐性方面均优于 LoRA-DreamBooth,展现出更高的图像生成质量和更准确的对象颜色分布。

综合对比实验结果,DiffuseKronA 在视觉质量、文本对齐性、可解释性、参数效率和模型稳定性等方面均优于 LoRA-DreamBooth,为 T2I 生成模型的领域带来了重大进展。

产品入口:https://top.aibase.com/tool/diffusekrona

产品论文:https://arxiv.org/pdf/2402.17412.pdf

0000
评论列表
共(0)条