何恺明与MIT合作推出自条件图像生成框架RCG
要点:
何恺明与MIT合作推出的新自条件图像生成框架RCG在ImageNet-1K数据集上取得了无条件图像生成的新SOTA成绩,无需人类注释,保真且多样。
RCG框架基于类似自监督学习的自条件生成方法,利用表示扩散模型RDM生成低维自监督图像表示,通过SSL图像编码器和MAGE像素生成器实现图像生成。
RCG在ImageNet256×256上实现了3.56的FID和186.9的IS得分。
近期,何恺明与MIT合作推出的自条件图像生成框架RCG在学术圈引起关注。这一框架成功填补了长期存在的有条件和无条件生成任务性能差距,取得了ImageNet-1K数据集上无条件图像生成的新SOTA成绩。
RCG的设计灵感来源于自监督学习,通过表示扩散模型RDM生成低维自监督图像表示。这一表示条件图像生成架构包括SSL图像编码器、RDM和MAGE像素生成器,结构简单而高效。
论文地址:https://arxiv.org/pdf/2312.03701.pdf
为了实现无条件图像生成,RCG的关键在于将图像分布转换为紧凑的表示分布,通过SSL图像编码器实现。RDM模型用于对表示分布进行建模和采样,具有多样性强、计算开销小的优点。最后,MAGE像素生成器根据表示来处理图像像,通过向token化的图像中添加随机掩码并要求网络以条件重建丢失的token,实现图像生成。
RCG在ImageNet256×256上的表现令人瞩目,取得了3.56的FID和186.9的IS得分,相较于之前最先进的无条件生成方法有着显著提升。不仅如此,RCG在无分类器引导的情况下,成绩还能进一步提高到3.31(FID)和253.4(IS)。这一成果展示了自条件图像生成模型的潜力,为图像生成领域带来了新的可能性。
总的来说,何恺明与MIT的合作研究为无条件图像生成领域带来了新的突破,RCG框架的成功应用表明自条件图像生成模型具有巨大的潜力,可能预示着这一领域新时代的到来。
HuggingFace推出企业代码助手SafeCoder 精通80多种编程语言
文章概要:-HuggingFace与VMware合作在VMwareCloud平台上提供SafeCoder-SafeCoder基于StarCoder,针对企业自托管使用进行了优化-SafeCoder在80多种编程语言上表现出色,可以通过协作训练进行个性化定制站长网2023-08-24 16:51:320001多位网红博主遭AI换脸起诉运营公司
近年来,“AI换脸”等深度合成技术快速发展,在服务用户需求、改进用户体验的同时,也被一些不法人员利用,生成恶搞视频、色情视频在网上传播、出售。企查查APP显示,近期,上海鱼腥草信息科技有限公司新增多份肖像权纠纷裁判文书。据悉,该公司系某款换脸手机APP运营公司,未经原告许可擅自使用其影像作品,并制作融脸视频模板,提供给付费会员使用。站长网2023-05-22 14:55:350000研究表明,全球十分之一大公司大规模投资人工智能
划重点:-📊仅全球十分之一的科技领袖已实施大规模人工智能项目。-💡尽管对生成式人工智能的热情高涨,但投资人工智能的公司比例在过去五年未发生变化。-💼现金紧缺和新兴技术风险是抑制大规模人工智能投资的两个主要原因。新研究显示,全球范围内,仅有很少的科技领袖已经实施了大规模人工智能(AI)项目。站长网2023-10-30 10:23:240000Meta推出AI模拟环境Habitat 3.0 为机器人训练提供更真实的场景
要点:1.MetaPlatformsInc.的研究团队发布了AI模拟环境Habitat的进阶版本Habitat3.0,用于教授机器人如何与物理世界互动。2.发布了HabitatSyntheticScenesDataset,这是由艺术家制作的3D数据集,可用于训练AI导航代理,以及HomeRobot,一个用于模拟和现实世界环境的廉价机器人助手硬件和软件平台。站长网2023-10-26 11:51:580001天猫超市联合菜鸟开通北京半日达服务
今天上午,天猫超市与菜鸟集团宣布启动“半日达”服务,让北京市民享受上午购物、下午收货的便捷体验。据了解,天猫超市半日达服务在半年内已在北京等20个城市开通,双11期间多座城市也可享受半日达服务。在半日达城市内,消费者只需打开手机淘宝进入天猫超市,选择带有醒目半日达标识的商品并下单,商品就会在承诺时间内送达。站长网2023-10-12 14:12:550000