20%的杨幂+80%的泰勒长什么样?小红书风格化AI来了,可兼容SD和ControlNet
不得不说,现在拍写真真是“简单到放肆”了。
真人不用出镜,不用费心凹姿势、搞发型,只需一张本人图像,等待几秒钟,就能获得7种完全不同风格:
仔细看,造型/pose全都给你整得明明白白,并且原图直出修也不用修了。
这搁以前,不得在写真馆耗上至少整整一天,把咱和摄影师、化妆师都累个半死不活。
以上,便是一个叫做InstantIDAI的厉害之处。
除了现实写真,它还能整点“非人类的”:
比如猫头猫身,但仔细看又有你的脸部特征。
各种虚拟风格就更不用说了:
像style2,真人直接变石像。
当然,输入石像也能直接变:
对了,还能进行俩人脸融合的高能操作,看看20%的杨幂 80%的泰勒长什么样:
一张图无限高质量变身,可是叫它玩明白了。
所以,这是怎么做到的?
基于扩散模型,可与SD无缝集成
作者介绍,目前的图像风格化技术已经可以做到只需一次前向推理即可完成任务(即基于ID embedding)。
但这种技术也有问题:要么需要对众多模型参数进行广泛微调,要么与社区开发的预训练模型缺乏兼容性,要么无法保持高保真度的面部特征。
为了解决这些挑战,他们开发了InstantID。
InstantID基于扩散模型打造,其即插即用(plug-and-play)模块仅靠单张面部图像即可熟练地处理各种风格化变身,同时确实高保真度。
最值得一提的是,它可与时下流行的文本到图像预训练扩散模型无缝集成(例如SD1.5、SDXL),作为插件使用。
具体来看,InstantID由三个关键组成部分:
(1)捕获鲁棒语义人脸信息的ID embedding;
(2)具有解耦交叉注意力的轻量级适配模块,方便图像作为视觉提示;
(3)IdentityNet网络,它通过额外的空间控制对参考图像的详细特征进行编码,最终完成图像生成。
而相比业内此前的工作,InstantID有几点不同:
一是不用训练UNet,因此可以保留原始文本到图像模型的生成能力,并兼容社区中现有的预训练模型和ControlNet。
二是不需要test-time调整,因此对于特定风格,不需要收集多张图像进行微调,只需要对单个图像进行一次推断即可。
三是除了实现更好的面部保真度,也保留了文本可编辑性。如下图所示,只需几个字,即可让形象变性别、换套装、改发型以及发色。
再次强调,以上所有效果只需1张参考图像在几秒内即可完成。
如下图实验证明,多来几张参考图的作用基本不大,1张就能做得很好。
下面是一些具体对比。
比较对象是现有的免调优SOTA方法:IP-Adapter(IPA)、IP-Adapter-FaceID以及前两天腾讯刚刚出品的PhotoMaker。
可以看到,大家都挺“卷”的,效果都不赖——但仔细对比的话,PhotoMaker和IP-Adapter-FaceID保真度都不错,但文本控制能力明显差一点。
相比之下,InstantID的面孔和样式能更好地融合,在实现了更好保真度的同时,还保留了良好的文本可编辑性。
除此之外,还有与InsightFace Swapper模型的比较,你觉得哪个效果更好呢?
作者介绍
本文一共5位作者,来自神秘的InstantX团队(网上没有搜到太多信息)。
不过一作是来自小红书的Qixun Wang。
通讯作者王浩帆也是小红书的工程师,从事可控和条件内容生成(AIGC)方面的研究,是CMU’20届校友。
参考链接:
https://instantid.github.io/
赛灵力推出生物领域AI大模型“达尔文”
清华大学珠三角研究院、赛灵力、赛业生物和大湾区科创中心在“达尔文大模型发布会”上推出了一款名为“达尔文”的生物领域AI大模型。这款模型具备强大的进化能力,可用于生物学基础研究,并在基因组学、蛋白质组学和代谢组学等领域应用。它有助于生物学家更好地理解生物分子之间的相互作用、进化规律和环境适应性,为生物学研究提供新的视角。站长网2023-07-06 16:33:440002FF:已完成首台FF 91 交车仪式前的所有相关流程
FaradayFuture宣布,已完成向塔尖用户交付FF91未来主义者联盟版车型前的全部流程。FaradayFuture表示,自公司启动第二阶段共创交付以来,车辆交付前所需的相关流程和步骤已经准备就绪。除了之前宣布的制造原产地证书(MCO)准备就绪、销售协议和最终发票外,还完成了在FFieFactoryCalifornia的最终车辆检验以及交付仪式前的交付前检验(PDI)流程。站长网2023-08-13 19:07:510002UI设计师福音!Creatie只要选择区域输入需求即可让AI完成UI设计
Creatie.ai是一个由设计师领导的小型团队开发的人工智能赋能的设计工具,旨在通过最先进的AI技术,帮助设计师在UI/UX设计流程的各个方面,从线框图到模型图,从情绪板到插图。这个工具的核心理念是利用AI的变革潜力来增强设计过程,而不是取代它,从而实现创作的民主化和加速流程。体验地址:https://top.aibase.com/tool/creatie站长网2024-03-19 16:45:250000决策类AI公司第四范式在港交所上市
今日,决策类人工智能公司第四范式在香港联合交易所主板挂牌上市,发行价格为每股55.60港元,股份代号为6682.HK。开盘价为63.1港元,较发行价上涨13.49%。站长网2023-09-28 10:55:530000知乎付费阅读业务累计向创作者分成超10亿元
知乎创始人、董事长兼CEO周源首次披露,知乎付费阅读业务已累计向创作者分成超10亿元。周源介绍,知乎付费阅读业务是公司第一大收入来源,拥有1480万月均付费用户,盐言故事内容已经达到十数万篇。截至目前,知乎盐选创作者规模达到数十万人,付费阅读业务已累计向盐选创作者分成超10亿元,其中收入破百万创作者超过100位。0000