海德堡大学发布优化版本ContorlNet模型ConTorlNetXS
海德堡大学最近发布了一个名为ConTorlNetXS的优化版本的ControlNet模型,该模型在图像生成方面的性能得到了极大提升。这一项目的研究重点是控制基于稳定扩散模型的图像生成过程,通过对ControlNet的大小和架构进行优化,取得了令人瞩目的成果。
ConTorlNetXS的参数仅为原始模型的1%,但在推理和训练时间上提高了两倍,同时生成的图片质量更高,控制更加精准。研究人员将这一新架构命名为ControlNet-XS,并展示了其比原始ControlNet表现更好的结果,尤其在FID分数方面表现出色。
论文地址:https://arxiv.org/pdf/2312.06573.pdf
原始的ControlNet是基于StableDiffusion基础模型中U-Net编码器的副本,接收与基础模型相同的输入,并附加一个类似边缘图的引导信号。在训练过程中,ControlNet的中间输出添加到基础模型的解码器层的输入中。然而,这种方法存在概念上的问题,导致ControlNet过于庞大,并且生成图像的质量明显降低。
为了解决这一问题,研究人员对ControlNet进行了优化,将连接从编码器基础模型添加到控制编码器,使得纠正可以更快地适应基础模型的生成过程。然而,这一方法并未完全消除延迟,因为基础模型的编码器仍然没有受到引导。因此,他们直接将额外的连接添加到基础模型的编码器中,直接影响整个生成过程,最终实现了ControlNet-XS的优化版本。
研究人员对三种ControlNet-XS的变体(A、B、C)相对于原始的ControlNet在COCO2017的验证集上的FID分数表现进行了评估。结果显示,所有的变体都取得了显著的改进,同时只使用了原始ControlNet参数的一小部分。这一成果将为图像生成领域带来重大影响,有望推动该领域的进一步发展和应用。
夸克App推出“AI学习助手” 基于自研大模型打造
站长之家(ChinaZ.com)1月9日消息:近日,夸克App宣布推出全新的AI学习助手,为用户提供更加智能的学习体验。这款AI学习助手基于夸克自研的大模型技术,采用夸克宝宝的虚拟形象为用户进行题目讲解。0000何小鹏建议加速飞行汽车应用落地 推动飞行汽车产业发展
2024年全国两会盛大召开,小鹏汽车董事长兼CEO何小鹏作为全国人大代表,带来了关于无人驾驶、车网融合及飞行汽车应用等前沿科技领域的建议。何小鹏建议,针对充电市场的结构性矛盾,可以探索限定场景的夜间低速无人驾驶。他提出,在具备条件的地方和城市,选取主干道附近的公共充电站,试点开放夜间低速无人驾驶,并允许具备技术条件的车企开展相关试点活动。这一举措旨在激活夜间充电场景,提升充电基础设施的利用率。站长网2024-03-04 17:23:420000百度的2023:“抠”出了利润,死磕的AI亟待产品化
12月12日,深度学习技术及应用国家工程研究中心官宣第十届“WAVESUMMIT深度学习开发者大会”将于12月28日在北京举行。作为联合承办方,百度也在第一时间宣传造势,通过官网、微博等多个渠道广发“AI英雄帖”,邀请业内顶尖团队来京分享AI大模型最新研发成果。站长网2023-12-18 18:57:430000重庆首个自主研发的大语言模型“兆言”发布
7月13日,上海交通大学重庆人工智能研究院在西部(重庆)科学城发布其最新研发成果“兆言”大模型产品。据了解,兆言大模型是上海交大重庆人工智能研究院基于全球领先的AI大模型技术研发出的最新成果,它的建立是通过积累海量数据,辅以独特的数据处理和AI训练技术,以达到精准、专业的文本输出,并且能够实现以自然语言选择、调用应用程序的能力,助力打造个性化的智能产品。站长网2023-07-14 16:31:090000Contra Pro:专为独立开发者和设计师服务的AI作品集建站平台
ContraPro是一款面向自由职业者的专业在线作品集平台。该平台提供了众多功能,能够全面满足自由职业者的业务需求。ContraPro具有强大的分析功能,能够实时追踪作品集浏览数据、访问量等关键指标,让自由职业者了解内容传播效果。平台还提供无限量的作品集模板和自定义域名功能,使自由职业者能够打造个性化的专属品牌。体验地址:https://contra.com/pro站长网2023-09-15 11:20:020000