阿里巴巴推AI画图框架SCEdit 可显著减少训练参数
站长网2023-12-27 11:22:070阅
阿里巴巴的新项目SCEdit是一个AI画图框架,可以显著减少训练参数、内存使用率和计算开销。在训练阶段,它减少了52%的内存消耗,仅利用ControlNet所需参数的7.9%,并实现内存使用量减少30%。
项目地址:https://scedit.github.io/
该项目的简介指出,图像扩散模型已被用于各种任务,如文本到图像生成和可控图像合成。最近的研究引入了微调方法,对原始模型进行细微调整,在基础生成式扩散模型的特定适应性方面取得了有希望的结果。
SCEdit并不是修改扩散模型的主干部分,而是深入研究U-Net中跳跃连接的作用,并揭示出在编码器和解码器之间聚合远程信息的分层特征对图像生成内容和质量产生重大影响。
基于这一观察,SCEdit提出了一个高效的生成式调整框架,它使用轻量级调节模块SC-Tuner来集成和编辑Skip Connection。此外,所提出的框架允许通过注入不同条件与可控SC-Tuner简化并统一多条件输入网络设计以实现可控图像合成任务。由于其轻量级调节器使得反向传播仅传递给解码器块,SCEdit显著减少了训练参数、内存使用率和计算开销。
在文本到图像生成和可控图像合成任务上进行了大量实验,结果表明SCEdit在效率和性能方面具有优势。同时,该项目也宣布了开源,尽管还没有提供具体的代码,但已经有开发者表示愿意帮助实现。
0000
评论列表
共(0)条相关推荐
腾讯拟6个亿卖掉腾讯动漫 中国最大正版动漫网站
快科技12月11日消息,阅文集团发布公告称,计划以6亿元人民币收购腾讯动漫。具体包含腾讯动漫App平台平台资产、动画项目、影视项目及米橙子(腾讯动漫制作公司)的90%股权。腾讯动漫官网表示,近年来,腾讯动漫已经发展成为中国最大的原创及正版网络动漫平台。收购完成后,阅文将整合腾讯动漫有影响力的头部IP和成熟的动漫产能,进一步提升IP运营效率,阅文的IP生态链或将迎来扩容升级。0000智谱AI以200亿人民币估值寻求新一轮融资 推出第三代基座模型ChatGLM3
要点:智谱AI正以200亿人民币估值,寻求新一轮融资,成为国产大模型创企中估值最高的公司之一。智谱AI推出第三代基座模型ChatGLM3,进行了全方位升级。智谱AI的投资方包括阿里、美团、腾讯、小米等大厂,进入B轮后期融资阶段。站长网2023-11-10 15:54:290000外滩大会今日开幕 生成式AI成为热议话题
2023Inclusion·外滩大会9月7日在上海黄浦世博园正式开幕。这场以“科技·创造可持续未来”为主题的大会为期三天,近20位“两院”院士、诺贝尔奖和图灵奖得主,全球超500位有影响力的科技领军企业和专家学者,将在此带来一场科技、人文和产业的思想碰撞。站长网2023-09-07 13:03:330000CRM:上传图片生成3D模型,10秒搞定
划重点:1.🚀ConvolutionalReconstructionModel(CRM)是一种高保真度的前馈单图像到3D生成模型,充分考虑了稀疏3D数据的限制,强调了在网络设计中整合几何先验的必要性。2.🖼️CRM通过生成六个正交视图图像,经过卷积U-Net处理,利用其强大的像素级对齐能力和显著的带宽,创建了高分辨率的三平面站长网2024-03-12 12:01:070000专利制霸!华为2022年专利许可收入达到5.6亿美元,研发投资排行第4位
华为在深圳召开的2023创新和知识产权论坛上,华为副总裁兼知识产权部部长樊志勇透露,华为2022年的专利许可收入达到5.6亿美元(约40.15亿元人民币)。他还表示,截至目前,华为已经签署了近200项双边许可协议,并且超过350家公司通过专利池获得了华为的专利许可。华为历史上支付的专利许可费约是许可收入的三倍。0000