登陆注册
17401

阿里巴巴通义实验室开源AI图像生成微调框架SCEdit

站长网2024-01-05 09:09:100

SCEdit 是一个高效的生成式微调框架,由阿里巴巴通义实验室基础视觉智能团队提出。该框架可以用于图像生成任务的微调,并支持快速迁移到特定的生成场景中。相比于其他方法,SCEdit 能够节省30%-50% 的训练显存开销。

该框架的核心思想是利用 U-Net 中的跳跃连接进行编辑,通过调整跳跃连接上的中间特征来实现高效的微调。SCEdit 还引入了名为 SC-Tuner 的轻量级微调模块,可以在编码器和解码器之间聚合远距离信息,从而提升图像生成的内容和质量。

除了支持文生图下游任务的微调,SCEdit 还可以直接扩展到可控图像生成任务中。通过注入不同的条件,如边缘图、深度图、分割图、姿态、颜色图等,可以实现对生成结果的精准控制。而且,仅需使用 ControlNet 条件生成7.9% 的参数量,并节省30% 的显存开销。

SCEdit 在文生图和可控图像生成任务上进行了广泛实验,结果表明该方法在效率和性能方面具有优势。在文本到图像生成任务中,SCEdit 的 FID 得分和质量结果优于现有方法,并在训练阶段减少了52% 的内存消耗。在可控生成任务中,SCEdit 可以实现对生成结果的精准控制,并节省30% 的内存使用。

项目地址:https://github.com/ali-vilab/SCEdit

新鲜AI产品点击了解:https://top.aibase.com/

0000
评论列表
共(0)条