Stable Diffusion团队放大招!新绘画模型直出AI海报,实现像素级图像生成
开源AI绘画扛把子,Stable Diffusion背后公司StabilityAI再放大招!
全新开源模型DeepFloyd IF,一下获星2千 并登上GitHub热门榜。
DeepFloyd IF不光图像质量是照片级的,还解决了文生图的两大难题:
准确绘制文字。(霓虹灯招牌上写着xxx)
以及准确理解空间关系。(一只猫照镜子看见狮子的倒影)
网友表示,这可是个大事,之前想让Midjourney v5在霓虹灯招牌上写个字AI都是瞎划拉两笔,对于镜子理解的也不对。
使用DeepFloyd IF,可以把指定文字巧妙放置在画面中任何地方。
霓虹灯招牌、街头涂鸦、服饰、手绘插画,文字都会以合适的字体、风格、排版出现在合理的地方。
这意味着,AI直出商品渲染图、海报等实用工作流程又打通一环。
还在视频特效上开辟了新方向。
目前DeepFloyd IF以非商用许可开源,不过团队解释这是暂时的,获得足够的用户反馈后将转向更宽松的协议。
有需求的小伙伴可以抓紧反馈起来了。
像素级图像生成
DeepFloyd IF仍然基于扩散模型,但与之前的Stable Diffusion相比有两大不同。
负责理解文字的部分从OpenAI的CLIP换成了谷歌T5-XXL,结合超分辨率模块中额外的注意力层,获得更准确的文本理解。
负责生成图像的部分从潜扩散模型换成了像素级扩散模型。
也就是扩散过程不再作用于表示图像编码的潜空间,而是直接作用于像素。
官方还提供了一组DeepFloyd IF与其他AI绘画模型的直观对比。
可以看出,使用T5做文本理解的谷歌Parti和英伟达eDiff-1也都可以准确绘制文字,AI不会写字这事就是CLIP的锅。
不过英伟达eDiff-1不开源,谷歌的几个模型更是连个Demo都不给,DeepFloyd IF就成了更实际的选择。
具体生成图像上DeepFloyd IF与之前模型一致,语言模型理解文本后先生成64x64分辨率的小图,再经过不同层次的扩散模型和超分辨率模型放大。
在这种架构上,通过把指定图像缩小回64x64再使用新的提示词重新执行扩散,也实现以图生图并调整风格、内容和细节。
并且不需要对模型做微调就可直接实现。
另外,DeepFloyd IF的优势还在于,IF-4.3B基础模型是目前扩散模型中U-Net部分有效参数是最多的。
在实验中,IF-4.3B取得了最好的FID分数,并达到SOTA(FID越低代表图像质量越高、多样性越好)。
谁是DeepFloyd
DeepFloyd AI Research是StabilityAI旗下的独立研发团队,深受摇滚乐队平克弗洛伊德影响,自称为一只“研发乐队”。
主要成员只有4人,从姓氏来看均为东欧背景。
这次除了开源代码外,团队在HuggingFace上还提供了DeepFloyd IF模型的在线试玩。
我们也试了试,很可惜的是目前对中文还不太支持。
原因可能是其训练数据集LAION-A里面中文内容不多,不过既然开源了,相信在中文数据集上训练好的变体也不会太晚出现。
One More Thing
DeepFloyd IF并不是Stability AI昨晚在开源上的唯一动作
语言模型方面,他们也推出了首个开源并引入RLHF技术的聊天机器人StableVicuna,基于小羊驼Vicuna-13B模型实现。
目前代码和模型权重已开放下载。
完整的桌面和移动界面也即将发布。
Deepfloyd IF在线试玩:
https://huggingface.co/spaces/DeepFloyd/IF
代码:
https://github.com/deep-floyd/IF
StableVicuna在线试玩:
https://huggingface.co/spaces/CarperAI/StableVicuna
权重下载:
https://huggingface.co/CarperAI/stable-vicuna-13b-delta
参考链接:
[1]https://deepfloyd.ai/deepfloyd-if
[2]https://stability.ai/blog/deepfloyd-if-text-to-image-model
[3]https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot
[4]https://stable-diffusion-art.com/how-stable-diffusion-work/
—完—
可达30mm:新版NFC计划扩大6倍接触范围
快科技6月24日消息,近日,负责制定NFC相关技术标准的NFCForum(NFC论坛),终于发布了该技术未来五年的规划蓝图。根据蓝图,NFC技术下一步的主要发展方向,将是增加使用范围。据悉,当前的NFC技术仅有5mm的接触范围,这意味着两台支持NFC的机器,必须在之间只有5mm距离的时候才能够进行数据交换。站长网2023-06-25 23:21:360000人形机器人将进宝马工厂「实习」 之前它还只会冲咖啡
前段时间,名为“Figure01”的机器人因会冲咖啡而走红。这两天,它还找到了新工作,要去宝马的美国工厂“实习”,干得好的话,一两年后就能到流水线上参与“造车”了。站长网2024-01-23 09:34:540000阿里巴巴取消首席技术官:拆分技术团队
快科技5月10日消息,据《南华早报》,阿里巴巴目前已经取消首席技术官(CTO)一职。知情人士称,原阿里CTO吴泽明的头衔已改为爱橙技术CEO,继续向集团CEO张勇汇报。据悉,2022年12月底,在张勇的内部信中,吴泽明才刚刚接过程立(花名鲁肃”)的阿里集团CTO职位,并兼任本地生活CTO一职,现在阿里集团CTO岗位也将成为历史。0000Youtube Dubbing:让你听懂外语视频的神奇翻译工具
YoutubeDubbing是一个非常强大的浏览器插件,它可以自动为Youtube上的外语视频添加中文语音和字幕,使你无需辛苦学习外语就能欣赏外语视频的魅力。这个插件运用了人工智能的语音合成技术,可以精确识别视频中的外语,并用标准流利的中文语音进行再现。它支持英语、德语、日语、法语、西班牙语等多种语言之间的转换,可以按照个人喜好选择男声或女声。站长网2023-09-07 15:05:330000视频号:深度合成技术生成音视频内容需进行显著标识
日前,视频号发布了关于创作者规范使用深度合成技术生成内容的建议,要求创作者应对使用虚拟现实、深度合成技术等生成或合成的非真实的音视频内容进行显著标识。站长网2023-06-20 11:54:220000