阿里巴巴通义实验室开源AI图像生成微调框架SCEdit
站长网2024-01-05 09:09:100阅
SCEdit 是一个高效的生成式微调框架,由阿里巴巴通义实验室基础视觉智能团队提出。该框架可以用于图像生成任务的微调,并支持快速迁移到特定的生成场景中。相比于其他方法,SCEdit 能够节省30%-50% 的训练显存开销。
该框架的核心思想是利用 U-Net 中的跳跃连接进行编辑,通过调整跳跃连接上的中间特征来实现高效的微调。SCEdit 还引入了名为 SC-Tuner 的轻量级微调模块,可以在编码器和解码器之间聚合远距离信息,从而提升图像生成的内容和质量。
除了支持文生图下游任务的微调,SCEdit 还可以直接扩展到可控图像生成任务中。通过注入不同的条件,如边缘图、深度图、分割图、姿态、颜色图等,可以实现对生成结果的精准控制。而且,仅需使用 ControlNet 条件生成7.9% 的参数量,并节省30% 的显存开销。
SCEdit 在文生图和可控图像生成任务上进行了广泛实验,结果表明该方法在效率和性能方面具有优势。在文本到图像生成任务中,SCEdit 的 FID 得分和质量结果优于现有方法,并在训练阶段减少了52% 的内存消耗。在可控生成任务中,SCEdit 可以实现对生成结果的精准控制,并节省30% 的内存使用。
项目地址:https://github.com/ali-vilab/SCEdit
新鲜AI产品点击了解:https://top.aibase.com/
0000
评论列表
共(0)条相关推荐
“Hi,Siri”将成历史!苹果计划修改语音助手唤醒方式
快科技5月15日消息,无数人熟悉的Hi,Siri”,或许将在未来几年间成为历史了。近日,MarkGurman在最新的PowerOn”通讯中透露,苹果正在对Siri进行大规模改进,作为改进的一部分,苹果将修改语音助手的唤醒方式。据悉,苹果目前正在研究让Siri能够在使用单个词Siri”作为触发词的情况下理解和响应命令。站长网2023-05-15 09:35:440000西工大提出全新自主无人机控制框架 实现类人对话交互
要点:1.西工大提出了一种创新的自主无人机控制框架,基于大模型实现了无人机之间的「群聊式」对话交互,打破了人机交互的壁垒,提高了无人机任务执行的自主性。2.这一控制框架包括了类人对话交互、主动环境感知和自主实体控制等主要能力,使无人机能够更好地理解用户需求、实时感知外部环境并调整任务规划,以及自主控制执行任务。3.该技术的应用领域广泛,包括安防巡检、灾害救援和空中物流等,具有重要意义。站长网2023-11-02 14:25:030001手持式人工智能设备Rabbit R1一天内售出10000台
站长之家(ChinaZ.com)1月11日消息:近日,初创公司Rabbit推出的R1,一款迷你小工具,旨在提供便捷的应用程序使用体验,宣布在X上的一篇帖子中,首批产品已经售罄,一天内销售量超过10,000台。在该帖子中,Rabbit表示:“当我们开始构建R1时,我们内部期望发布当天能够售出500台设备,”并补充道:“在24小时内,我们已经实现了20倍的销售速度!”站长网2024-01-11 14:01:150001烧了几亿都不赚钱?这两年最大的版本陷阱不是二次元
01版本陷阱二次元游戏赛道在2023年过的很惨,这大家都知道。但其实它还不是最惨的。因为二游虽然竞争激烈,可至少每年总能有那么几款新品杀出重围来,找到自己的立足之地。而放到更大的时间尺度来看,头部二游在过去十年里,也已经换位过几次了。但有这么条赛道,出道即巅峰,赛道开创者至今依旧还是赛道第一名。后续跟进的产品,别说取得成功,就连顺利上线都是少数中的少数,更不谈超过第一名了。站长网2024-03-18 17:11:150000麦肯锡报告:生成式AI每年可为全球经济带来高达4.4万亿美元的收入
近来似乎大公司的领导对生成式人工智能感到非常兴奋,并且急于宣布或接受新的人工智能工具。然而,这些举措将对经济造成什么影响呢?站长网2023-06-15 10:10:380001