个性化扩散模型微调方法DiffuseKronA:个性化扩散模型微调方法,大幅减少参数、合成高质量图像
划重点:
⭐️ 新方法 DiffuseKronA 采用 Kronecker 乘积模块,在保持高质量生成的同时,显著减少参数数量。
⭐️ 与现有模型相比,DiffuseKronA 在生成图像质量、文本 - 图像对应性和参数效率方面表现出色。
⭐️ 通过实验和对比,证明 DiffuseKronA 相比 LoRA-DreamBooth 更稳定、更具可解释性,且在参数效率和模型稳定性上表现更优。
近期,针对文本到图像(T2I)生成模型领域中的个性化主题驱动模型,出现了一些令人印象深刻的进展,如 DreamBooth 和 BLIP-Diffusion。然而,这些模型普遍存在着对微调的需求较高和参数规模庞大的限制。
为了解决这些问题,研究人员引入了 DiffuseKronA,这是一种基于 Kronecker 乘积的自适应模块,不仅可以将可训练参数数量显著降低多达35%,与 LoRA-DreamBooth 相比甚至降低了99.947%,还提高了图像合成的质量。DiffuseKronA 减少了对超参数敏感性的问题,提供了一致高质量的生成图像,从而减少了对大量微调的需求。
关键是,DiffuseKronA 减轻了对超参数敏感性的问题,能够在一系列超参数范围内提供一致的高质量生成,从而减少了对大量精细调整的必要性。此外,更可控的分解使 DiffuseKronA 更具解释性,甚至可以实现高达50% 的减少,并且结果与 LoRA-Dreambooth 相媲美。
DiffuseKronA 的主要思想是利用 Kronecker 乘积来分解 UNet 模型中注意力层的权重矩阵,以实现高效的参数优化。与 LoRA 中的低秩分解相比,DiffuseKronA 的 Kronecker 适配器提供了更高阶的逼近,参数数量更少,灵活性更大。通过实验,DiffuseKronA 在生成图像的稳定性和文本对齐性方面均优于 LoRA-DreamBooth,展现出更高的图像生成质量和更准确的对象颜色分布。
综合对比实验结果,DiffuseKronA 在视觉质量、文本对齐性、可解释性、参数效率和模型稳定性等方面均优于 LoRA-DreamBooth,为 T2I 生成模型的领域带来了重大进展。
产品入口:https://top.aibase.com/tool/diffusekrona
产品论文:https://arxiv.org/pdf/2402.17412.pdf
鸿蒙原生App已在Mate60 Pro等麒麟机型上测试
华为在HarmonyOSNEXT开发者预览版的适配工作上取得了显著进展。据数码闲聊站最新爆料,几大主流平台已经完成适配。目前,华为正在Mate40Pro/Mate60Pro等麒麟芯片机型上进行测试,这些测试基于OpenHarmony4.X版本。值得注意的是,鸿蒙原生App已经进入了实际测试阶段,这意味着下一代HarmonyOS将能够使用独立的App。站长网2023-12-27 10:08:570000每周AI大事件 | 微软全面开放BingChat、AI引发大裁员、OpenAI已不使用客户数据
欢迎来到站长之家的[每周AI大事件],这里记录了过去一周值得关注的AI领域相关内容,帮助大家更好地了解人工智能领域的动态和发展风向。Part1动态[国内要闻]网易有道发布AI口语老师剧透视频站长网2023-05-06 09:43:470004每周AI大事件 | GPT-3.5开放微调功能、百度将推文心大模型4.0、Midjourney推局部重绘功能、Meta开源Code Llama
欢迎来到站长之家的[每周AI大事件],这里记录了过去一周值得关注的AI领域热点内容,帮助大家更好地了解人工智能领域的动态和发展风向。PART1动态[国内要闻]1.美图设计室AILogo设计功能上线站长网2023-08-26 16:04:490000bing崩了上热搜 网友称微软必应搜索官网无法访问
今日下午,bing崩了登上微博热搜,网友们反馈称,微软旗下必应搜索无法访问。对此,必应方面暂未对此事回应。据悉,微软必应原名必应(Bing),是微软公司于2009年5月28日推出,用以取代LiveSearch的全新搜索引擎服务。Bing中文品牌名为“必应”。2023年2月8日,微软公司发布了新版必应搜索引擎,采用了ChatGPT开发商OpenAI的最新技术。站长网2023-05-15 17:48:150001抖音:严打云剪辑、使用录播素材直播等违规行为
近日,抖音生活服务发布《内容营销说明书》,明确云剪辑、使用录播素材直播等违规行为。《说明书》明确内容质量的判断标准,包括“画风质量”和“决策信息价值”两个维度。站长网2023-05-22 14:05:000005