Stability AI发布SD3技术报告 披露SD3更多细节
Stability AI 最近发布了他们最强的图片生成模型 Stable Diffusion3(SD3) 的技术报告,披露了 SD3的更多细节。据 Stability AI 所说,SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型,是目前最强的图片生成模型。
技术报告要点如下:
根据人类偏好评估,SD3在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如 DALL·E3、Midjourney v6和 Ideogram v1。
报告提出了新的多模态扩散 Transformer (Multimodal Diffusion Transformer, 简称 MMDiT) 架构,其使用独立的权重集分别表示图像和语言。与 SD3的先前版本相比,该架构改善了系统对文本的理解能力和拼写能力。
SD38B 大小的模型可以在 GTX409024G 显存上运行。此外,SD3将发布多个参数规模不等的模型方便在消费级硬件上运行,参数规模从800M 到8B。
SD3架构以 Diffusion Transformer (简称"DiT",参见 Peebles & Xie,2023)为基础。鉴于文本嵌入和图像嵌入在概念上存在较大差异,他们为这两种模态使用了独立的权重集。通过这种方法,信息得以在图像 Token 和文本 Token 之间流动,从而提高了模型生成结果的整体理解力和排版质量。
SD3采用了矫正流 (Rectified Flow, 简称 RF) 的公式,在训练过程中,数据和噪声被连接在一条线性轨迹上。这导致了更直的推理路径,从而可以使用更少的步骤进行采样。
他们还进行了扩展矫正流 Transformer 模型的研究,使用重新加权的 RF 公式和 MMDiT 主干网络,训练了一系列模型,其规模从15个 Transformer 块 (4.5亿参数) 到38个块 (80亿参数) 不等。
SD3还引入了灵活的文本编码器,通过在推理阶段移除内存密集型的 T5文本编码器(参数量高达47亿),SD3的内存占用可以大幅降低,而性能损失却很小。
总的来说,Stability AI 的这一技术报告揭示了 SD3的强大功能和细节,显示出其在图片生成领域的领先地位。
详细内容点此查看:https://stability.ai/news/stable-diffusion-3-research-paper
O'Reilly调查:生成式人工智能采用速度创纪录
**划重点:**1.📈调查显示,生成式人工智能(GenerativeAI)在企业中的采用速度前所未见,但仍面临业务用例不明确、法律问题和高基础设施成本等难题。2.💼两-thirds的受访者表示正在使用生成式AI,但调查指出,找到业务用例的困难和对法律问题的担忧是该技术发展的阻碍。3.🌐调查还发现,企业文化、基础设施建设的难度和高成本也是生成式AI发展的挑战。站长网2023-11-23 11:49:010000牛津大学AI研究员发出警告:大语言模型对科学真相构成风险
**划重点:**1.🤖AI研究员指出大型语言模型(LLMs)可能对科学完整性构成威胁。2.🧠牛津研究呼吁改变LLMs的使用方式,建议将其作为“零射击翻译器”以确保输出的事实准确性。3.📢研究强调,信任LLMs作为可靠信息来源可能导致科学真相受损,呼吁负责任的LLMs使用。站长网2023-11-24 11:37:290000AI+游戏,迎来Sora时刻?来听听从业者们怎么说
8小时销量破百万,5天吸金1.89亿美元,上线一个月Steam和Xbox玩家数量超2500万……2024年开年以来,游戏圈的最大黑马非《幻兽帕鲁》莫属。这款“缝合”了《宝可梦》《塞尔达》《方舟:生存进化》等个游戏的玩法,自1月19日发售以来,销量与讨论度一路攀升。同时,对于《幻兽帕鲁》的成功,AI可能帮了大忙的猜测,也实实在在地给从业者们打了一剂肾上腺素。站长网2024-03-12 09:07:590000买它还是小米SU7!华为问界新款M7入门款降价2万
快科技4月1日消息,问界新M7入门款车型进行了调价,降价2万至22.98万元起。从一些网友查看的情况,问界新M7车型起售价22.98万元,直降2万元,具体调整包括:新M7Plus五座后驱版:原价24.98万元,现调整为22.98万元,科技舒享包取消赠送(价值15000元)。新M7Max五座后驱智驾版:原价28.98万元,现调整为27.98万元,科技舒享包依旧赠送。站长网2024-04-06 14:16:110000OpenAI官宣Sam Altman回归担任CEO
OpenAI宣布,SamAltman正式回归OpenAI担任CEO,MiraMurati也将回到CTO职位。新的初始董事会将由BretTaylor(董事长)、LarrySummers和AdamD'Angelo组成。同时,Altman表达了对所有人的感谢,并表示对OpenAI实现使命的成功概率感到非常乐观。站长网2023-11-30 09:32:160000