OpenAI开源全新解码器,极大提升Stable Diffusion性能
在11月7日OpenAI的首届开发者大会上,除了推出一系列重磅产品之外,还开源了两款产品,全新解码器Consistency Decoder(一致性解码器)和最新语音识别模型Whisper v3。
据悉,Consistency Decoder可以替代Stable Diffusion VAE解码器。该解码器可以改善所有与Stable Diffusion1.0 VAE兼容的图像,尤其是在文本、面部和直线方面有大幅度提升。仅上线一天的时间,在Github就收到1100颗星。
Whisper large-v3是OpenAI之前开源的whisper模型的最新版本,在各种语言上的性能都有显著提升。OpenAI会在未来的API计划中提供Whisper v3。
解码器地址:https://github.com/openai/consistencydecoder
Whisper v3地址:https://github.com/openai/whisper
Consistency Decoder效果展示
Consistency Decoder算是OpenAI“一致性”家族里的新成员,所以,「AIGC开放社区」想为大家介绍一下OpenAI之前开源的另一个创新模型——Consistency Models。
扩散模型的出现极大推动了文生图片、视频、音频等领域的发展,涌现了GAN、VAE等知名模型。但是这些模型在推理的过程中,过于依赖迭代采样过程,导致生成效率非常缓慢或生成图片质量太差。
OpenAI为了突破这个技术瓶颈,提出了Consistency Models(一致性模型)框架并将其开源。该技术的最大优势是支持单步高质量生成,同时保留迭代生成的优点。简单来说,可以使文生图模型在推理的过程中又快又准攻守兼备。
此外,Consistency Models可以通过提取预先训练的扩散模型来使用,也可以作为独立的生成模型来训练,兼容性强且灵活。
开源地址:https://github.com/openai/consistency_models
论文:https://arxiv.org/abs/2303.01469
为了让大家更好的理解Consistency Models技术特点,「AIGC开放社区」先简单的介绍一下扩散模型的原理。
什么是扩散模型
扩散模型主要通过模拟扩散过程来生成数据,核心技术是将数据看作是由一个简单的随机过程(例如,高斯白噪声)经过一系列平滑变换得到的结果。
扩散模型主要由正向过程和反向过程两大块组成。正向过程(扩散过程):首先将原始数据通过添加噪声逐渐扩散,直到变成无法识别的噪声。
具体来说,每一步都会添加一点噪声,噪声的强度通常会随着步骤的进行而增大。这个过程可以用一个随机微分方程来描述。
反向过程(去噪声过程):然后使用一个学习到的模型从噪声数据中重建原始数据。
这个过程通常通过优化一个目标函数来进行,目标是让重建的数据与原始数据尽可能相似。
Consistency Models简单介绍
Consistency Models受扩散模型技术思路启发,直接将噪声映射到数据分布,无需迭代过程直接生成高质量图像。实验证明,如果模型输出在同一轨迹上的点保持一致,可以有效学习此映射。
简单来说,Consistency Models直接放弃了逐步去噪过程,而是直接学习把随机的噪声映射到复杂的图像上,同时加上了一致性的规则约束,避免生成的图像出现“驴唇不对马嘴”的情况。
说的更直白一点,我们如果要做一道麻婆豆腐,需要先切豆腐、配菜,然后放在马勺里进行大火翻炒,再放上调料最后出锅。
而Consistency Models的方法是直接就变出一盘麻婆豆腐,省去了所有制作流程,并且口味、菜品都是按照用户标准来的,这就是该技术的神奇之处。
基于上述技术概念,OpenAI的研究人员使用了知识蒸馏和直接训练两种方法来训练Consistency Models。
知识蒸馏:使用一个预先训练好的扩散模型(如Diffusion),生成一些数据对,然后训练Consistency Models时让这些数据对的输出尽可能接近,来跟扩散模型进行知识蒸馏。
直接训练法:直接从训练集样本中学习数据到噪声的映射,不需要依赖预训练模型。主要是加入噪声进行数据增强,然后优化增强前后的输出一致性。
实验数据
研究人员在多个图像数据集上测试了Consistency Models,包括CIFAR-10、ImageNet64x64和LSUN256x256。
结果表明,知识蒸馏训练的Consistency Models效果最好,在所有数据集和步数下均优于现有最好的蒸馏技术Progressive Distillation。
例如,在CIFAR-10上,单步生成达到新记录的FID3.55,两步生成达到2.93;在ImageNet64x64上,单步生成FID为6.20,两步生成为4.70,均刷新记录。
直接训练方式下,Consistency Models也显示出强大的能力,在CIFAR-10上打败了大多数单步生成模型,质量接近Progressive Distillation。
此外,该模型支持进行零样本图像编辑,可实现图像去噪、插值、上色、超分辨率生成、笔触生成等多种任务,而无需专门训练。
本文素材来源OpenAI官网、论文、开源项目,如有侵权请联系删除
END
AI生成系统CityDreamer:可创建无限的 3D 城市街景
文章概要:1.CityDreamer是一种生成式AI模型,可以创建无限的3D城市环境。2.通过将建筑实例生成与其他背景对象分离,可以更好地处理建筑多样性。3.使用真实城市数据集训练,可以增强生成结果的真实性。相比生成自然场景,用AI创建城市更复杂,因为可以更容易察觉结构失真。CityDreamer是一种生成式AI系统,专门用于创建开放式的、无边界的3D城市环境。站长网2023-09-06 17:36:020001京东千亿级言犀大模型 计划2024年上半年全面开放
今日,京东千亿级言犀大模型正式亮相,该模型具备内容生成、人机对话和用户意图理解等功能。京东探索研究院院长何晓冬对此进行了介绍,言犀大模型能够支持语言、语音、视觉和多模态等领域的应用。该模型结合70%的通用领域数据和30%的行业数据,通过基座模型与垂直领域模型的精调,可以为零售、金融、教育、政务等领域提供服务。站长网2023-07-14 00:35:440000美国经济学家「末日博士」:生成式 AI 将以我们未曾见过的方式释放生产力奇迹
尽管通常以悲观著称的,被称为「末日博士」的经济学家NourielRoubini指出,人工智能(AI)的进步将释放长期的生产力奇迹。站长网2023-06-17 08:34:250000国家邮政局:2023年邮政行业寄递业务量累计完成1624.8亿件
据国家邮政局消息,2023年,邮政行业寄递业务量累计完成1624.8亿件,同比增长16.8%。其中,快递业务量(不包含邮政集团包裹业务)累计完成1320.7亿件,同比增长19.4%。2023年,同城快递业务量累计完成136.4亿件,同比增长6.6%;异地快递业务量累计完成1153.6亿件,同比增长20.5%;国际/港澳台快递业务量累计完成30.7亿件,同比增长52.0%。站长网2024-01-22 10:30:340000如何用AI电影创作?电影制片人可以尝试的10个AI模型
站长之家(ChinaZ.com)引言:尽管好莱坞内部关于人工智能在电影行业中的整合一直存争议,但重要的是要认识到人工智能所拥有的巨大力量。虽然,目前这些工具可能还达不到标准,但这仅仅是开始。很快,大家很快就可以在人工智能的帮助下制作一整部电影。站长网2023-07-18 17:22:550000