阿里巴巴通义实验室开源AI图像生成微调框架SCEdit

SCEdit 是一个高效的生成式微调框架，由阿里巴巴通义实验室基础视觉智能团队提出。该框架可以用于图像生成任务的微调，并支持快速迁移到特定的生成场景中。相比于其他方法，SCEdit 能够节省30%-50% 的训练显存开销。

该框架的核心思想是利用 U-Net 中的跳跃连接进行编辑，通过调整跳跃连接上的中间特征来实现高效的微调。SCEdit 还引入了名为 SC-Tuner 的轻量级微调模块，可以在编码器和解码器之间聚合远距离信息，从而提升图像生成的内容和质量。

除了支持文生图下游任务的微调，SCEdit 还可以直接扩展到可控图像生成任务中。通过注入不同的条件，如边缘图、深度图、分割图、姿态、颜色图等，可以实现对生成结果的精准控制。而且，仅需使用 ControlNet 条件生成7.9% 的参数量，并节省30% 的显存开销。

SCEdit 在文生图和可控图像生成任务上进行了广泛实验，结果表明该方法在效率和性能方面具有优势。在文本到图像生成任务中，SCEdit 的 FID 得分和质量结果优于现有方法，并在训练阶段减少了52% 的内存消耗。在可控生成任务中，SCEdit 可以实现对生成结果的精准控制，并节省30% 的内存使用。

项目地址：https://github.com/ali-vilab/SCEdit

新鲜AI产品点击了解：https://top.aibase.com/