AI绘图模型不会写字的难题,被阿里AnyText破解了
能准确写汉字的AI绘图工具,终于登场了!
包括中文在内一共支持四种语言,而且还能文字的位置还能任意指定。
从此,人们终于可以和AI绘图模型的“鬼画符”说再见了。
这款名为AnyText的绘图工具来自阿里巴巴,可以按照指定位置精准地向图中加入文字。
此前的绘图模型普遍无法准确地向图中添加文字,即便有也很难支持像中文这样结构复杂的文字。
而目前Anytext支持中英日韩四种语言,不仅字形准确,风格也可以与图片完美融合。
除了可以在绘制时加入文字,修改图片中已有的文字,甚至向其中加字也都不是问题。
究竟AnyText效果如何,我们也实际体验了一番。
各种风格轻松驾驭
官方在GitHub文档中提供了AnyText的部署教程,也可以在魔搭社区中体验。
此外还有网友制作了PyTorch笔记,可以在本地或Colab中一键部署,我们采用的也是这种方式。
AnyText支持中英文Prompt,不过从程序日志来看,中文提示词会被自动翻译成英文。
比如我们想让AnyText给马斯克换上一件白色T恤,让他来给量子位(QbitAI)打个call。
只需要输入提示词,然后设定文本的位置,然后直接运行就可以了。
如果需要调整尺寸等参数,可以将上方的菜单展开;如果不会操作,页面中还附有中英双语教程。
最终,在搭载V100的Colab上,AnyText用了10多秒绘制出了四张图片。
效果还是不错的,不论是图本身还是文字,看上去都没有什么破绽。
而且各种文字材质AnyText都能准确模仿,比如黑板上的粉笔字,甚至是传统书法……
街景中的文字,甚至是电商促销海报,都难不倒AnyText。
而且不仅是平面上各式各样的文字,立体风格同样也不在话下。
而其中的文本编辑功能,还可以修改已有图片中的文字,几乎不会留下破绽。
在测试当中,AnyText也是取得了不错的成绩——无论是中英文,准确度都显著高于ControlNet,FID误差也大幅减少。
此外,如果自行部署,还可以对字体进行自定义,只需准备好字体文件并对代码简单修改就可以了。
那么,研究人员是怎样让AnyText学会写字的呢?
文本渲染独立完成
AnyText是基于扩散模型开发的,主要分为两个模块,文字生成的过程是相对独立的。
这两个模块分别是隐空间辅助模块和文本嵌入模块。
其中,辅助模块对字形、文字位置和掩码这三种信息进行编码并构建隐空间特征图像,用来辅助视觉文字的生成;
文本嵌入模块则将描述词中的语义部分与待生成文本部分解耦,使用图像编码模块单独提取字形信息后,再与语义信息做融合。
在实际工作过程中,嵌入的文本输送给绘图模块时被用星号代替,在嵌入空间预留位置并用符号填充。
然后文本嵌入模块得到的字形图像被输入预训练OCR模型,提取出字形特征,然后调整其维度并替换预留位置中的符号,得到新的序列。
最后,这个序列表示被输入到CLIP的文本编码器中,形成最终指导图像生成的指令。
这种“分而治之”的方式,既有助于文字的书写精度,也有利于提升文字与背景的一致性。
此外,AnyText还支持嵌入其他扩散模型,为之提供文本生成支持。
论文地址:
https://arxiv.org/abs/2311.03054
—完—
谷歌Pixel Buds Pro耳机发布:支持蓝牙超宽带技术、31小时续航
快科技10月5日消息,谷歌发布了新款PixelBudsPro耳机,售价为199.99元(约合人民币1460元)。外形方面,新款耳机采用胶囊设计,拥有海岸蓝、瓷器白、珊瑚红、炭黑、雾蓝、柠檬草黄六种配色,并且保留了谷歌的G”标志。同时,PixelBudsPro耳机依然保留了减压通风孔设计,除了缓解耳朵的压力,可还帮助用户避免在长时间使用时出现眩晕现象。站长网2023-10-05 09:14:580000次果生意:电商平台上为什么难以买到好水果?|界面315
几年前,家住四川眉山的飞哥因家中的土地无人打理,他便返乡种起了柑橘。靠着这20亩地,他每年都能收获6万斤柑橘,其中有粑粑柑、不知火、爱媛等近年的网红品种。站长网2023-05-25 05:04:010001出门问问自研大模型「序列猴子」向全社会开放
11月4日,出门问问自研大模型「序列猴子」正式向全社会开放。即日起,广大用户可登陆基于「序列猴子」的AI写作助手奇妙文(write.mobvoi.com)或AI开放平台(openapi.mobvoi.com/llm)体验。今年4月,出门问问「序列猴子」开启邀测。「序列猴子」以语言为核心的能力体系涵盖“知识、对话、数学、逻辑、推理、规划”六个维度。站长网2023-11-04 15:10:250000通过纠正检索增强生成 (CRAG) 提高大语言模型的准确性
**划重点:**1.🧠语言模型困扰准确性问题,CRAG方法通过轻量级检索评估器解决检索失败导致的生成问题。2.🔄CRAG采用动态文档检索,引入分解-重组算法,确保只有最相关、准确的知识融入生成过程。3.📈CRAG在短文回答和长篇传记生成等任务上consistently胜过标准检索增强生成方法,为语言模型精度迈出重要一步。站长网2024-02-04 15:46:250000腾讯字节进入“蜜月期”
开播一分钟,人气10w,开播八分钟拿下全站人气榜第一,开播十分钟点赞数过亿。1月21日晚,游戏主播张大仙在抖音开启《王者荣耀》首播。这也意味着腾讯和字节,两大互联网大厂时隔5年,正式破冰。从《元梦之星》到《王者荣耀》,近日腾讯不断加深与字节的合作,腾讯和字节的破冰会怎样搅动游戏行业?眼下,网易与腾讯的竞争又会因此发生怎样的变化?留不住的主播站长网2024-01-30 18:09:440000