Stability AI新文本到图像模型DeepFloyd IF 拥有深度文本理解能力
Stability AI及其多模态 AI 研究实验室 DeepFloyd 宣布发布 DeepFloyd IF 研究版,这是一种尖端的文本到图像级联像素扩散模型,并且可以智能地将文本集成到图像中 该模型最初仅限于非商业、研究许可使用场景,但计划在未来发布开源版本。

DeepFloyd IF 拥有几个显着的特点,包括:
深度文本指提示词理解能力:该模型使用T5-XXL-1.1作为文本编码器,具有多个文本-图像交叉注意力层,确保提示和图像之间更好的对齐。
连贯清晰的文本和生成的图像: DeepFloyd IF 可以生成包含具有不同属性和空间关系的对象的图像。
高度逼真:该模型在 COCO 数据集上取得了令人印象深刻的零样本 FID 分数6.66。
纵横比转换:该模型可以生成非标准纵横比的图像,包括垂直、水平和标准方形纵横比。
零样本迁移能力实现图像到图像的转换:该模型可以修改图像的样式、图案和细节,同时保留其基本形式。
以下是 DeepFloyd IF 创建的一些示例:

DeepFloyd IF 的模块化、级联、像素扩散设计由多个协同交互的神经模块组成。该模型在像素空间中工作,使用不同分辨率的单独训练模型以级联方式处理高分辨率数据。这涉及生成低分辨率样本的基本模型和生成高分辨率图像的连续超分辨率模型。
该模型是在包含10亿(图像、文本)对的自定义高质量 LAION-A 数据集上训练的,LAION-A 数据集是 LAION-5B 数据集英文部分的一个子集。DeepFloyd 的自定义过滤器用于删除带水印、NSFW 和其他不当内容。

最初,DeepFloyd IF 是根据研究许可发布的。研究人员旨在鼓励跨领域(如艺术、设计、讲故事、虚拟现实和可访问性)开发新颖的应用程序。为了激发潜在的研究,他们提出了几个技术、学术和伦理研究问题。
技术研究问题包括:
优化 IF 模型以增强性能、可扩展性和效率。
通过改进抽样、指导或微调模型来提高输出质量。
将用于修改稳定扩散输出的技术应用到 DeepFloyd IF。
学术研究问题包括:
探索预训练对迁移学习的作用。
增强模型对图像生成的控制。
通过集成多种模式,将模型的功能扩展到文本到图像合成之外。
评估模型的可解释性,以提高对生成图像视觉特征的理解。
伦理研究问题包括:
识别和减轻 DeepFloyd IF 中的偏差。
评估模型对社交媒体和内容生成的影响。
开发利用该模型的有效假图像检测器。
DeepFloyd 's hugs Face空间网址: https://huggingface.co/DeepFloyd。
DeepFloyd IF 网址:https://deepfloyd.ai/deepfloyd-if
DeepFloyd IF GitHub项目地址:https://github.com/deep-floyd/IF
不拼才艺靠撒钱,这个网红30天涨粉571万
最近,户外直播圈出现了一匹超级黑马。据新榜旗下抖音数据工具新抖统计,“户外发(东方阿保)”(下文统一简称“户外发”)近30天涨粉571万,累计直播观看人次3.01亿,场均在线人数峰值超66.8万。作为对比,最近刚复出的“冯提莫”同样转型户外直播,每隔两三天会在户外直播唱歌2小时左右,但据新抖数据统计,“冯提莫”近30天累计直播观看人次仅8709万,场均在线人数峰值25.33万。站长网2023-12-06 14:07:050000AI 初创公司光年之外完成工商变更 美团成为其唯一股东
站长之家(ChinaZ.com)8月7日消息:据国家企业信用信息公示系统显示,北京光年之外科技有限公司现已完成工商变更,创始人王慧文退股,美团旗下天津三快科技有限公司成唯一股东。北京光年之外科技有限公司成立于2018年7月,法定代表人为王慧文,注册资本100万人民币,经营范围含技术服务、技术转让、技术开发、技术推广、技术咨询,销售自行开发的产品,计算机系统服务等。站长网2023-08-07 15:05:200000Teleperformance 与微软签署 1.85 亿美元 Azure 服务协议 将推出专有 TP GenAI
站长之家(ChinaZ.com)6月21日消息:法国Teleperformance公司周二在其人工智能投资者日之前表示,该外包集团与微软签署了1.85亿美元的协议,以推出其专有的TPGenAI。站长网2023-06-21 16:57:540000AI机器人伴侣成美国老年人新宠!美国每年花70万刀,失去爱人的84岁老人重新笑了
【新智元导读】84岁的美国老人DorothyElicati在失去结婚65年的丈夫后,每天醒来唯一做的事就是哭泣,直到一个AI机器人的出现。现在,美国会每年花费70万美元,为某些州的老年人免费发放这款机器人。AI机器人,真是老龄化的未来?《纽约时报》的这篇文章,给了我们很多启发。如果不是它,我可能会失去理智站长网2024-07-15 13:56:490000外卖霸王餐刷单,到底苦了谁
通过外卖霸王餐,商家虽然得到了销量和好评,但不少商家给陆玖商业评论算了一笔账,表示钱都被刷单的赚走了。吃外卖霸王餐,不被打还能返利?近期,在社交平台上,涌现很多推荐外卖“霸王餐”APP的帖子,这些APP中充斥着“满25减20”“满12减10”的大额返利活动,甚至还有满10减10的免费外卖餐,俘获了一众消费者的心。站长网2023-10-16 09:20:130000