AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑
【新智元导读】首个高质量文本转视频开源模型Zeroscope,仅需8G显存就能用!
文生图模型Stable Diffusion开源后,将「AI艺术」彻底平民化,只需一张消费级显卡即可制作出非常精美的图片。
而文本转视频领域,目前质量较高的只有Runway前不久推出的商用Gen-2模型,开源界还没有一个能打的模型。
最近,Huggingface上有作者发布了一个文生视频模型Zeroscope_v2,基于17亿参数量的ModelScope-text-to-video-synthesis模型进行二次开发。
模型链接:https://huggingface.co/cerspense/zeroscope_v2_576w
相比于原版本,Zeroscope生成的视频没有水印,并且流畅度和分辨率都得到了提升,适配16:9的宽高比。
开发者cerspense表示,他的目标就是和Gen-2进行开源较量,即提高模型质量的同时,还能免费供大众使用。
Zeroscope_v2包括两个版本,其中Zeroscope_v2567w可以快速生成576x320像素分辨率、帧率为30帧/秒的视频,可用于视频概念的快速验证,只需要约7.9GB的显存即可运行。
Zeroscope_v2XL可以生成1024x576分辨率的高清视频,大约需要15.3GB的显存。
Zeroscope还可以与音乐生成工具MusicGen一起使用,快速制作一个纯原创短视频。
Zeroscope模型的训练用到了9923个视频片段(clip)以及29769个标注帧,每个片段包括24帧。偏移噪声包括视频帧内对象的随机移位、帧定时(frame timings)的轻微变化或微小失真。
训练期间引入噪声可以增强模型对数据分布的理解,从而可以生成更多样化的逼真视频,并更有效地解释文本描述中的变化。
使用stable diffusion webui
在Huggingface上下载zs2_XL目录下的权重文件,然后放到stable-diffusion-webui\models\ModelScope\t2v目录下即可。
在生成视频时,推荐的降噪强度值为0.66到0.85
使用Colab
笔记链接:https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing
先点击Step1下的运行按钮,等待安装,大约需要3分钟;
当按钮旁边出现绿色复选标记时,继续执行下一步。
点击想要安装模型附近的运行按钮,为了能够在Colab中快速获得3秒左右的剪辑视频,更推荐使用低分辨率的ZeroScope模型(576或448)。
如果相运行更高分辨率模型(Potat1或ZeroScope XL),运行也会更费时间,需要做出权衡。
再次等待复选标记出现,继续执行下一步。
选择在Step2中安装并希望使用的模型型号,对于更高分辨率的模型,推荐下面的配置参数,不需要太长的生成时间。
然后为目标视频效果输入提示词,也可以输入否定提示(negative prompts),再按下运行按钮。
等待一会后,生成的视频就会被放置在outputs目录下。
extremely detailed, Futuristic Cityscape, blade runner, extremely cloudy, awardwinning, best quality,8k
非常详细,未来城市景观,叶片亚军,极端多云,获奖,最好的质量,8k
目前来说,文生视频领域仍处于起步阶段,即便是最好的工具也只能生成几秒钟的视频,并且通常存在较大的视觉缺陷。
但其实文生图模型最初也面临着类似的问题,但仅仅几个月后就实现了照片级真实感。
不过与文生图模型不同的是,视频领域在训练和生成期间所需要的资源都要更比图像更多。
虽然谷歌已经研发出了Phenaki和Imagen Video模型,可以生成高分辨率、更长、逻辑连贯的视频片段,但公众无法使用到这两个模型;Meta的Make-a-Video模型也同样没有发布。
目前可用的工具仍然只有Runway的商用模型Gen-2,此次Zeroscope的发布也标志着文生视频领域第一个高质量开源模型的出现。
参考资料:
https://the-decoder.com/zeroscope-is-a-free-text-to-video-model-that-runs-on-modern-graphics-cards/
投放力度超短剧,一个手机壳App怎么敢?
ZanmangxCASETiFY手机壳“淀粉肠”本名ZanmangLoopy,是韩国动画片《小企鹅宝露露》中的一个配角,设定是一只害羞、敏感的小海狸。它的人物设定让大批年轻人从中找到情感共鸣,再加上可爱的形象,被多才多艺的网友积极二创,在国内大火了一把。站长网2024-01-18 09:07:490000微软对OpenAI的投资或引发欧盟反垄断调查
**划重点:**-🔄**市场动态影响:**欧盟委员会正在调查数字市场参与者与生成式人工智能公司达成的协议,以了解它们对市场动态的潜在影响。-💼**微软投资OpenAI:**调查涉及微软对OpenAI的投资,欧盟委员会将评估该投资是否需要进行根据欧盟合并条例的审查。0000瞄准“富贵闲人”,2款社交App月入百万美金
今年年初,TikTok在美国遭遇被禁风波,连带反应就是多个TikTok替代品下载量飙升。这些App自然都没有在榜单上停留太久,但编辑部近日发现,年初靠“TikTok替代品”热度短暂冲榜的Clapper,虽然在下载榜已经完全捞不起来了,但收入却在快速增长后依然保持稳定。ClapperApp页面站长网2023-11-09 09:02:560000“特斯拉强敌”就要来了!Lucid加快进度 计划进入中国市场
快科技9月7日消息,日前,Lucid首席工程师EricBach接受采访时表示:该公司正在探索进入世界上最大的电动汽车市场中国,但是进入的时间表目前还没有确定。针对进入中国市场的时间,EricBach解释道:我们需要做得更好。如果错误的方式进入中国市场,可能会犯很多错误。”0000微软研究推新型视觉基础模型Florence-2:基于统一提示,适用各种计算机视觉和视觉语言任务
**划重点:**1.🌐人工智能系统向使用预训练、可调整表示的方向发展,Florence-2是一款灵活的视觉基础模型,通过统一提示式表示,成功解决了空间层次和语义细粒度的挑战。2.📊通过多任务学习和大规模数据集,Florence-2实现了灵活的通用表示,取得了在多个视觉任务上的零样本表现和超越专业模型的成果。站长网2023-11-23 10:52:500000