ControlNet作者新作爆火:P照片换背景不求人,AI打光完美融入
ControlNet作者新作,玩儿得人直呼过瘾,刚开源就揽星1.2k。
用于操纵图像照明效果的IC-Light,全称lmposing Consistent Light。
玩法很简单:
上传任意一张图,系统会自动分离人物等主体,选择光源位置,填上提示词,就能毫无破绽的融入新环境了!
赶紧来个王家卫式的打光:
不喜欢?
没关系,换成窗外打进来的自然光,也就分分钟的事。
目前,IC-Light提供两类模型:文本条件重照明模型,还有背景条件模型。
两种模型都需要以前景图像作为输入。
鉴于之前Controlnet太好玩儿,这次IC-Light一出现就颇受关注,还有网友迅速做出了ComfyUI插件。
(疑惑,大家这么拼,都不睡觉的吗??)
不管是期待值还是用后体验,网友给得都很高:
Nice!迫不及待要上手玩了嘻嘻嘻嘻。
谁能帮我把这图换个背景?
从远古MCN到贴吧再到现在小红书,各个时代,都不乏“谁能帮我换张背景”这种求助贴。
但热心网友的帮助,往往是这样子的:
就离谱。
不过说实在话,这种需求不仅存在于你我普通人之间,电商做商品海报,也常常有类似的需求。
有了IC-Light,好像一切都变得简单起来。
上传主体原图 选择光源位置 提示词,完事儿。
来看效果——
这样一张佛像原图,加上提示词“佛像、细致的脸部、科幻RGB发光、赛博朋克”,再选择“光从左侧打来”。
就能得到一张崭新的成品:
哪怕是日常场景也是适用的。
最后出的效果肉眼看还是比较自然:
根据网友分享的测评,动漫场景也适用……
背后技术
如前所说,IC-Light现在提供两类模型,两种模型都需要以前景图像作为输入。
一类是文本条件重照明模型。
简单来说就是用户可以通过输入提示词来搞定生成。
比如输入“左侧光线”“月光”等,模型会通过这些提示词和初始潜变量,来生成符合要求和特征的图像。
另一类是背景条件模型。
这种就更简单了,不需要复杂的提示词,模型结合背景提示信息,对前景的物体进行不同风格的光照变化。
而其背后的技术原理,是通过潜在空间的一致性,确保模型输出在不同光源组合下具有一致性,从而可以稳定地合成各种光照效果。
具体如下——
在HDR空间中,所有照明的光线传输都彼此独立,不同光源的外观混合效果与多光源直接作用下的外观在数学上(也就是理想状态下)是一致的。
以上面这张图的灯光阶段为例,来自“外观混合”和“光源混合”的两个图像是一致的,(理想情况下,在HDR空间中数学上等效)。
因此,在训练重新照明模型时,研究人员在潜在空间中使用多层感知机(MLP)让不同光源的组合和传输具有一致性,并用来指导生成效果。
最终产生高度一致的重新光照效果。
由于模型使用了潜在扩散技术,因此可以在潜在空间内实现学习和重光照操作,从而在各种光照条件下产生高度一致的效果。
这些结果非常一致——尽管在训练时,模型没有直接使用法线图数据,但可以将不同的重新光照合并为法线贴图。
看下面这张图,从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。
感兴趣的小伙伴可以前往下面地址试玩儿哟~
GitHub直通车:
https://top.aibase.com/tool/comfyui-ic-light
https://top.aibase.com/tool/ic-light
AI大模型卖课指南
世界AI看山姆奥特曼,中国AI还得看清华…博士李一舟。你没看错,就是卖AI课程的清华博士李一舟。从2023年AI横扫全球开始,自称清华博士的李一舟就推出199元的AI课程,一年时间卖出了25万套,销售额达到了5000万。我们还没确定AI到底怎么改变世界,但我们可以确定的是AI已经确确实实改善了李一舟的生活。孟子说“人之患在好为人师”,为人师有隐患,但“卖课”真能赚钱呀。站长网2024-03-01 14:01:470000在抖音做「图文」:轻量、高效、找差异
如果说内容生态有三颗明珠,那么已经摘下“短视频”和“直播”明珠的抖音,当然不会放过“图文”。对于图文,抖音谋划已久。早在2021年,抖音就宣布将发力图文内容,推出了“抖音图文来了”、“图文伙伴计划”等活动。在2022年的抖音创作者大会上,抖音也称会加大流量来扶持图文内容。站长网2023-06-22 12:28:050001努比亚新旗舰即将发布:35mm定制光学系统
努比亚即将发布一款影像新旗舰。据官方透露,该机将搭载35mm定制光学系统,效果超越一英寸镜头。此前,努比亚Z50相机采用了相同技术,在23mm镜头的基础上提升了像素密度,效果提升123%。此次新机搭载骁龙8Gen2处理器,配备UFS4.0闪存和LPDDR5X性能铁三角。具体规格和发布时间尚未公布。站长网2023-07-02 10:12:390001ChatGPT 商业用途的 50 种最佳使用场景
ChatGPT是OpenAI开发的最先进的语言模型。它是生成式预训练Transformer(GPT)系列的一部分,旨在根据给定的提示理解并生成类似人类的文本。通过利用海量文本数据和复杂的深度学习技术,ChatGPT可以造句、回答问题、创建摘要,甚至与用户进行对话。它的多功能性和类人理解能力使其成为各种应用中的宝贵工具,从创意写作和教育到业务自动化和客户服务。0000LLM能否自我评估安全性?RAIN:一种无需微调即可改善AI对齐和安全防御新方法
文章概要:1.大型语言模型(LLM),如GPT-3,通过自我评估和改进方法(RAIN)能够满足人类需求,无需额外数据和微调。2.RAIN方法具备广泛适用性,适用于多种语言生成任务,无需额外模型或数据存储,且无需依赖标记数据或训练。3.RAIN通过自我评估提高LLM的性能,降低对敌对攻击的成功率,为AI生成更协调和安全的响应。站长网2023-09-18 10:53:170000