麻省理工、Meta开源:无需人工标注,创新文生图模型
文生图领域一直面临着一个核心难题,就是有条件图像生成的效果,远超无条件的图像生成。有条件图像生成是指模型在生成图像的过程中,会额外使用类别、文本等辅助信息进行指导,这样可以更好的理解用户的文本意图,生成的图像质量也更高。
而无条件图像生成完全基于模型自己学习的数据分布,难以形成有效的指导,所以,我们经常会有的AI平台生成的图像驴唇不对马嘴,或者图像有重大缺陷。
为了解决这个问题,麻省理工学院和Meta的AI研究人员开发了RCG模型(Representation-Conditioned imageGeneration)。
RCG是一种创新性的“基于表示条件的图像生成”模型。所谓“表示条件”,就是让模型自己从数据中提取表示来进行指导,而无需任何人工数据标注。所以,RCG能以更小的消耗,生成与有指导模型相媲美的图片。
开源地址:https://github.com/LTH14/rcg
论文地址:https://arxiv.org/abs/2312.03701
从RCG的论文来看,其图片生成流程采用了拟人化思路。先规划出要生成图片的大体轮廓,然后再根据这一构思去绘制图片的细节。
就像我们人类画画一样,先在大脑中构思画作的整体思路,例如,想画一匹马,先想象马的形体;想画一个苹果,先想象个大红色的圆球,然后根据整体“表示”画出图像的细节。
图像编码器
图像编码器的作用是从图像中提取有意义的表示。这些表示在保留图像的语义信息的同时,也要比较简单、易于建模。
目前流行的自监督学习算法主要可以分为两大类:1)基于预训练任务,这类方法会人为设计一个预训练任务,让模型去预测一些伪标签。比如旋转预测任务,让模型预测图像被旋转的角度等。
2)基于对比学习,这类方法会构造正样本和负样本。让模型学会区分和拉远它们在表示空间的距离,代表性算法包括MoCo、SimCLR等。
实验证明,基于对比学习方法,可以获得更加有效的图像表示,因此RCG选择了这种方式。并使用了MoCo v3进行预训练,这是图像分类任务上效果最优的自监督对比学习算法之一。
为了使表示维度可控,RCG使用了带有预测头的Transformer模型。预测头会规划成256维的向量,这样就获得了编码器输出的表示。该表示同时还进行了归一化处理,以符合高斯分布。
表示生成模块
在提取到图像的表示之后,下一步就是对这些表示进行采样。通常,我们希望模型可以捕捉表示空间的分布,具有生成各种新颖表示的能力,从而指导下游的图像生成。
为此,RCG提出了表示扩散模型RDM。它使用全连接网络作为主干,包含数个残差块。每个块里面包括激活函数、线性层等。
RDM模块训练时,采用了DDIM算法。即先将真实图像表示加入高斯噪声,让RDM去除噪并重构原始表示;生成时,从完全噪声表示出发,逐步采样清晰的表示。
RDM模块的参数和计算量很小,所以即使增加块数和宽度,也不会带来太大的额外负担。这样我们可以充分发掘表示空间的丰富信息,指导下游生成。
像素生成器
提取表示并对其建模之后,最后一步就是根据表示来生成图像像素。RCG中的像素生成器可以使用任意的条件图像生成模型,只需要将原有的条件(比如类别标签)替换为RDM生成的表示即可。
训练时,MAGE接收带有遮蔽(Mask)的图像作为输入,其中带X的是被遮蔽的,同时也输入对应图像的表示,然后学习重构被遮蔽的内容。
为了验证RCG模型的效果,研究团队基于ImageNet测试平台中的256×256数据集进行了实验。
结果显示,RCG的FID分数为3.56和IS的253.4,超过了之前最好的无条件生成模型MAGE的结果,与当前状态最好的有条件模型CDM差不多。
中科院发布“紫东太初”全模态大模型
6月16日,在人工智能框架生态峰会2023上,中国科学院自动化研究所正式发布“紫东太初”全模态大模型。“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力。站长网2023-06-17 08:34:250000市场监管总局修订出台禁止滥用知识产权排除、限制竞争行为规定
据国家市场监督管理总局消息,为鼓励创新,维护知识产权领域公平竞争的市场秩序,助力全国统一大市场建设和知识产权强国建设,结合近年来反垄断监管执法的新形势、新情况、新问题,市场监管总局修订出台了《禁止滥用知识产权排除、限制竞争行为规定》,将于2023年8月1日起正式施行。站长网2023-06-30 01:34:590001向Ultra看齐!曝华为Pura 80 Pro升级1英寸主摄
快科技2月6日消息,博主数码闲聊站爆料了华为Pura80系列的参数细节,该系列的Ultra版本独家首发国产1英寸主摄,长焦有望配备5000万像素1/1.3英寸超大底。Pro版本将会配备1英寸主摄,但潜望长焦方案没有Ultra版本那么激进,采用的是5000万像素小底Sensor,标准版Pura80配备1/1.3英寸主摄以及1200万像素潜望长焦。0000荣耀Magic V2 RSR保时捷设计今晚发布
今晚,荣耀将举行盛大的新品发布会,备受期待的是荣耀Magic6系列及荣耀与保时捷设计的首款旗舰产品。据此前传闻,荣耀MagicRSR保时捷设计将有两款产品问世,分别为荣耀Magic6RSR保时捷设计和荣耀MagicV2RSR保时捷设计。而根据荣耀手机官方微博的最新消息,荣耀MagicV2RSR保时捷设计已确定将在今晚与我们见面。0000从敌对到盟友?马斯克180亿美元支持特朗普第三次总统竞选
据《华尔街日报》报道,尽管马斯克和特朗普两人几年前有过争执,但马斯克现在似乎全力支持特朗普,并以真金白银的方式表达他的支持。据说,马斯克每月将向一个新的超级政治行动委员会(PAC)捐款约4500万美元,以资助特朗普的第三次总统竞选。站长网2024-07-18 10:48:580001