DMP技术开源,可提升AI图像预测精度
站长网2023-12-07 14:52:130阅
要点:
通过利用预训练的文本到图像扩散模型作为先验,提出了Diffusion Models as Prior(DMP)管道,用于各种像素级语义预测任务。
通过在确定性预测任务和随机文本到图像模型之间重新构建扩散过程,通过一系列插值建立输入RGB图像和输出预测分布之间的确定性映射。
通过使用低秩适应来微调预训练模型,保持了泛化性能。在包括3D属性估计、语义分割和内在图像分解在内的五个任务上的广泛实验证明了DMP的有效性。
Diffusion Models as Prior (DMP)是一种新的方法,它在AI生成的图像中提高了语义预测的准确性。该创新性方法巧妙地将预先训练的文本到图像模型应用于各种任务,例如3D属性估计和语义分割,在有限的训练数据下表现优于现有技术。
项目地址:https://shinying.github.io/dmp/
为了克服确定性任务和随机文本到图像模型之间的不一致性,研究者重新构建了扩散过程,通过插值建立了输入图像和输出预测分布之间的确定性映射。为了保持泛化性能,采用了低秩适应来微调预训练模型。实验证明,DMP在包括3D属性估计、语义分割和内在图像分解在内的多个像素级语义预测任务上表现出色,即使在有限领域训练数据的情况下,也能在任意图像上产生准确的估计,超过了现有的先进算法。
通过对10,000张卧室图像的训练,作者评估了模型在多样场景和任意图像上的域外性能,特别在卧室图像的各种风格上进行了分割评估,DMP在处理其他预训练方案无法处理的图像上表现出忠实的估计能力。
总体而言,这项研究为像素级语义预测任务引入了一种创新的先验方法,为解决领域差异问题提供了新的思路。
0000
评论列表
共(0)条相关推荐
“霸总”出海,日入百万
“霸总通杀全球。”一位小程序从业者用六个字总结当下出海短剧的火热。“没想到是小程序剧最先受到了多个国家的欢迎。”一家影视公司的短剧负责人Nolan说道。每集一两分钟的小程序剧在国内火了,这门生意也蔓延到了国外。不过不同的是,国外没有小程序剧的说法,这些作品的主要播出渠道还是APP,所以行业内也将其统称为短剧。这类短剧在海外市场有多受欢迎?0000国内用户无缘!iOS 17将支持三方应用商店或仅限欧洲:苹果准备收费
快科技4月22日讯,去年11月,欧盟颁布了数字市场法案,其中要求苹果设备要允许安装非AppStore的应用软件,按计划,法案将于2024年3月生效实施。此前,有分析师指出,苹果最快将于6月份发布的iOS17上首次带来对第三方应用商店的支持。不过,名记MarkGurman随后进一步指出,苹果将仅允许在欧盟市场开放该服务,预计中国、美国地区暂时无缘。0001有人竟在Reddit上出售AI生成的裸照
人们开始使用人工智能软件生成虚构人物的露骨图片,而这已经成为部分人的赚钱手段”。尽管深度伪造色情图片长期以来一直是成人产业的一个问题,但最近人工智能图像生成的快速进步使得创造出看起来真实的不存在人物的图片变得比以往更加容易,那些想通过出售“裸照”从中也谋取不少利益。站长网2023-04-12 14:23:0500042张图片1天能卖10w+!这钱到底谁在捡啊?
“我不敢出镜,也不会拍视频,在抖音上卖货赚钱这碗饭,我是吃不上了,诶!”“小美不是也都不会吗,听说她最近在抖音带货赚得很不错啊~”“骗人的吧?”是真的!不用直播,不拍视频,两张图片,就能带货!从蝉妈妈最近新上线的「图文带货榜」日榜中可以看到,前10名中,有6位的粉丝都不到5w,如低粉达人@海菲好物仅用一条图文,1天就卖出了10w-25w的销售额,勇夺10月9日「图文带货日榜」第一。站长网2023-10-12 14:07:500000概念炒不动了!AI创业要先落地
今年很难看到投资人雪中送炭了,更多是锦上添花。在AI领域,想要获得融资这件事越来越难了,创业者的道路也越来越难走。但是,又有一些新现象让我们发现,AI创业的门槛其实是在降低。超级个体户在大模型浪潮中遍地开花,能想象的场景里都有他们的存在,AI智能插件、AI相机等等,更多的个体户利用大模型的便利开始了小规模的创业活动。0000