解读1秒生成高精准图片模型——SDXL Turbo
前不久,著名开源生成式AI平台Stability.ai发布了,全新文生图模型SDXL Turbo。该模型只需1秒甚至更少的时间就能生成高精准图片,可将通常50个生成步降至1—4步。
Stability.ai表示,SDXL Turbo能有如此快的推理效率是使用了全新的技术——对抗式扩散蒸馏(Adversarial Diffusion Distillation,简称ADD)。
简单来说,ADD就是在“疯狂内卷 严师指导”的双重模式下,用最短的时间、最高效的学习方法考上了清、北。
现在你读上面那段话可能有点迷糊,看完全文后你就会心疼ADD,像极了当年学习的自己。
论文地址:https://stability.ai/s/adversarial_diffusion_distillation.pdf
开源地址:https://github.com/Stability-AI/generative-models
什么是大模型蒸馏
为了更好地理解ADD技术原理,「AIGC开放社区」先用通俗易懂的方式为大家介绍一下大模型中的“蒸馏”到底是什么技术。
模型蒸馏是一种将大型复杂模型(通常称为“教师模型”)的知识传输到小型简化模型(即“学生模型”)的技术。
蒸馏过程就像把水果压榨成精华果汁一样,我们尝试保留大模型中最重要的信息,并且让小模型能够捕获并模仿这些内容。
或者可以理解成老师教学生的过程,全部知识不一定都学会,但重要知识点肯定都掌握了。
而ADD能以最快的推理效率生成高质量图片,便使用了对抗损失和分数蒸馏两项重要技术。
一个负责生成图片的质量,另外一个充当“老师”负责教会小模型捕捉重要知识点并进行指导修正。
对抗损失
对抗损失是ADD框架中的一大关键功能。引入了对抗学习的思想,让学生模型与判别器之间进行激烈对抗。
对抗学习源于GAN模型,其核心思路是通过竞争促进模型快速逼近复杂分布。学生模型想方设法生成高质量图像蒙骗判别器,而判别器则全力识破这些虚假的图片。
所以,两人就不得不拼命的内卷,最后生成的图片质量越来越高。此外,对抗过程还可引入条件信息,如文本或图像的特征向量,以增强对应性。
对抗损失中的判别器包含两部分:一个特征提取器和几个判别头。特征网络可以预先在图像分类等任务上训练,然后切掉分类层拿特征向量。这样可以重复使用以前学到的知识。
判别头则在特征的基础上判断图像真伪。训练目标就是最大化真实图的分数,最小化假图的分数。
分数蒸馏
分数蒸馏的核心思想是,让老师模型教学生模型传授重要知识帮助ADD捕获模型的知识点。就是咱们前面介绍的“模型蒸馏”概念。
ADD的老师模型使用了Stability.ai自研性能强大的Stable Diffusion XL和Stable Diffusion2.1两个扩散模型,来监督学生模型ADD-M和ADD-XL生成的图片结果。
具体流程是,先将学生模型生成的图片进一步加噪声,模拟扩散过程,然后让老师模型基于噪声图像输出它的还原结果。
这个还原结果可以作为学习目标,并成为学生模型的生成目标,使自己的图片可以匹配老师模型。同时在老师的指点下,逐步修正偏差达到最佳效果。
在训练过程中,学生模型需要同时面对判别器的对抗,和老师模型的严厉监督,在二者的双重驱动下不断进步。
所以,在最终输出阶段学生模型能用极少的采样步骤1—4,就能输出高质量精准图片。
哎~~万万没想到现实中的高压学习、生活方法也适用于大模型界,看来开发灵感真的无处不在啊,真是名师出高徒,严父出孝子。
私域近九成留存率,千万用户大盘如何从“量变”到“质变”?
乘着一波大势,这家企业在全国快速增长了数千家门店,但随之而来也有大量连锁门店管理难题。存量市场当下,新渠道增长与拓展是企业的主要思考点之一,但相比之下,后端全渠道管理是比拓展新渠道更难。前不久,见实会员一行走进这家连锁门店企业展开游学活动。集团会员负责人杨鑫提到,高质量门店流量,为他们带来留存率高达85%以上的千万私域用户。这背后的两个重要体感:站长网2024-02-04 10:58:140000Alphabet 利润超出预期 将在谷歌改进后的 AI 搜索中引入广告
站长之家(ChinaZ.com)7月26日消息:Alphabet在周二公布的第二季度利润超出华尔街预期,谷歌母公司宣布其长期担任首席财务官的RuthPorat将担任新职务,而公司将寻找新的财务主管。站长网2023-07-26 11:33:160000独立开发变现周刊(第109期):通过公开构建,赚到了5万美元
1、LocalSend:免费开源的跨平台工具AppLocalSend是一个跨平台的应用程序,轻松将文件、文本、媒体发送到附近的设备,可以使用RESTAPI和HTTPS加密实现设备之间的安全通信。与其他依赖外部服务器的消息应用程序不同,LocalSend不需要互联网连接或第三方服务器,使其成为本地通信的快速可靠解决方案。LocalSend开源代码地址[1]站长网2023-10-27 09:02:2100002022年创业公司CEO薪酬报告:不如打工人
“你以为CEO的薪资多吗?是你想多了。”作者|王王编辑|蔓蔓周首图来源:tnwcdn创业公司的CEO能拿多少薪水?这个问题不光员工关心、VC关心,广大正在创业和想要创业的人也关心。美国一家咨询机构KruzeConsulting对超过250家多个行业的创业公司进行了调研,发布《2022创业公司CEO薪酬报告》,发现了许多有趣的趋势。站长网2023-04-17 18:34:260002不到 600 行代码实现了《愤怒的小鸟》翻版,GPT-4+DALL·E 3+Midjourney撼动游戏圈
把草图变网站,用几秒复现一款经典小游戏...随着GPT-4与Midjourney、DALL•E3等AIGC工具的强强联合,其带给游戏行业的震撼不是一星半点。站长网2023-11-02 15:07:580004