南洋理工发布提高AI视频生成内容一致性方法FreeInit
要点:
FreeInit方法提升视频扩散模型生成的时空一致性。
通过发现噪声初始化在视频扩散模型中存在的隐含训练-推理差距,提出了FreeInit,无需额外训练,不引入可学习参数。
FreeInit通过迭代优化推理初始噪声的时空低频组件,弥补训练和推理之间的初始化差距,显著提高生成结果的时空一致性。
南洋理工大学发布了一项名为FreeInit的方法,该方法可以大幅提高人工智能视频生成的内容一致性。演示显示这一方法非常流畅,并且可以与现有的SD生态结合。此外,他们还发表了与Animatediff结合的方法,只需等待一些专业人士制作插件,就可以使用这一方法。视频中展示了使用了FreeInit和未使用FreeInit的Animaetdiff的对比。
项目地址:https://tianxingwu.github.io/pages/FreeInit/
根据他们的介绍,他们深入研究了视频扩散模型的噪声初始化,并发现了一个隐含的训练-推断差距,导致了推断质量的下降。他们的关键发现包括推断时初始潜变量的信噪比(SNR)的时空频率分布与训练时本质上不同,以及去噪过程受到初始噪声的低频分量的显著影响。
在受到这些观察的启发下,他们提出了一种简洁而有效的推断采样策略FreeInit,该策略能够显著改善扩散模型生成的视频的时间一致性。通过在推断过程中迭代地优化初始潜变量的时空低频分量,FreeInit能够弥补训练和推断之间的初始化差距,从而有效改善生成结果的主体外观和时间一致性。
FreeInit以迭代方式改进推断初始噪声,通过DDIM采样、DDPM前向和噪声重新初始化,初始噪声的低频成分逐渐得到改进,从而持续增强时间一致性和主体外观。
这一方法的发布为人工智能视频生成领域带来了新的突破,将有望提高视频生成的质量和时间一致性。随着这一技术的不断发展和完善,相信将会为视频内容创作和人工智能应用带来更多的可能性。
超850万人观看,江歌妈妈直播带货,不“卖惨”
10月7日,江歌妈妈发布一条视频,“小伙伴们,我想做直播带货了”。视频刚发布不久,微博热搜相关词条“江歌妈妈直播带货”阅读量突破2亿,引发了不少网友的激烈讨论。而从10月9日的直播间情况来看,这场持续3小时的直播不卖惨,只卖货,全程吸引超过850万人次观看,整场直播的销售额在100万元—250万元之间。站长网2023-10-12 14:01:340000一句话让AI训练AI!20分钟微调羊驼大模型,从数据收集到训练全包了
只需一句话,描述你想要大模型去做什么。就有一系列AI自己当“模型训练师”,帮你完成从生成数据集到微调的所有工作。比如让70亿参数羊驼大模型学会优化GPT-4提示词,整个过程只要20分钟。秘诀就是网友分享的一个可以帮咱自动训练模型的AI工具:它能帮你搞定数据收集、写代码等一系列操作,你要做的就是用人话描述你要什么,然后坐等即可。可能是全世界最简单的大模型微调方法了(手动狗头)。站长网2023-08-21 09:29:3700002023抖音读书生态报告:2022年抖音售出2.5亿单图书
今日,抖音发布《2023抖音读书生态报告》称,过去一年,读书类视频播放量同比增长65.17%,时长≥5分钟的读书类视频数量同比增长279.44%。抖音读书类直播场次同比增长66.23%,观看总人次同比增长96.73%,场均观看人次2700。2022年,2.5亿单图书在抖音售出。49%的消费者是首次在抖音购买图书,00后成了抖音买书的主力军,占据了52%之多。站长网2023-04-13 15:09:310001普通人在家就能赚钱的6个项目
各位村民好,我是村长月入三五千的宝妈或者普通打工族,想趁着下班做点副业赚钱,有哪些项目可以做呢?许多人在网上看到许多博主说的项目,大部分都是割韭菜,也不能实操。那么今天,我先给大家简单盘点6个适合在家就能做的赚钱项目。图源备注:图片由AI生成,图片授权服务商Midjourney01自媒体其实每一个人都能拿起手机来拍摄视频,或者写文章。其一,头条、西瓜、抖音发布作品的门槛极低。站长网2024-01-16 10:08:210000南方电网发布电力行业首个自主可控电力大模型
9月26日,南方电网公司在广州召开了电力行业人工智能创新平台及自主可控电力大模型发布会。南方电网公司发布了电力行业人工智能创新平台,并同时发布了该平台的首个产品——电力大模型。站长网2023-09-27 15:33:110000