对标Gen-2!Meta发布新模型,进军文生视频赛道
随着扩散模型的飞速发展,诞生了Midjourney、DALL·E3、Stable Difusion等一大批出色的文生图模型。但在文生视频领域却进步缓慢,因为文生视频多数采用逐帧生成的方式,这类自回归方法运算效率低下、成本高。
即便使用先生成关键帧,再生成中间帧新方法。如何插值帧数,保证生成视频的连贯性也有很多技术难点。
科技、社交巨头Meta则提出了一种全新的文生视频模型Emu Video。该模型使用了分解式生成方法,先生成一张图像,再以该图像和文本作为条件生成视频,不仅生成的视频逼真符合文本描述,算力成本也非常低。
论文:https://emu-video.metademolab.com/assets/emu_video.pdf
在线demo:https://emu-video.metademolab.com/#/demo

Emu Video展示
Emu Video的核心技术创新在于,使用了分解式生成方法。之前,其他文生视频模型是直接从文本描述映射到高维视频空间。
但由于视频维度非常高,直接映射非常困难。Emu Video的策略是首先生成一张图像,然后以该图像和文本作为条件,生成随后的视频帧。
由于图像空间维度较低,生成第一帧更容易,然后生成后续帧只需要预测图像如何变化,这样整个任务难度很大程度降低。
技术流程方面, Emu Video利用先前训练好的文本到图像模型来固定空间参数,初始化视频模型。
然后仅需要训练时间参数来进行文本到视频任务。在训练时,模型以视频片段及相应文本描述作为样本进行学习。
在推理时,给定一段文本后,先用文本到图像部分生成第一帧图像,再输入该图像及文本到视频部分生成完整的视频。
文本到图像
Emu Video使用了一个训练好的文本到图像模型,可以生成很逼真的图片。为了让生成的图片更有创意,这个模型在海量的图像和文本描述进行预训练,学到了很多图像的风格,例如,朋克、素描、油画、彩绘等。
文本到图像模型采用了U-Net结构,包含编码器和解码器。编码器包含多层卷积块,并降采样获得较低分辨率的特征图。
解码器包含对称的上采样和卷积层,最终输出图像。两个文本编码器(T5和CLIP模型)被并行加入,分别对文本进行编码产生文本特征。
图像到视频
这个模块使用了跟文本到图像模块类似的结构,也是一个编码器-解码器结构。不同的是增加了处理时间信息的模块,也就是说可以学习如何把图片中的内容变化成一个视频。
在训练的过程中,研究人员输入一小段视频,随机抽取其中的一帧图片,让这个模块学习根据这张图片和对应的文本生成整段视频。
在实际使用时,先用第一个模块生成第一帧图片,然后输入这张图片和文本给第二个模块,让它生成整个视频。
这种分解的方法让第二个模块的任务变得比较简单,只需要预测图片会随着时间而怎么变化和运动,就可以生成流畅逼真的视频。
为了生成更高质量逼真的视频,研究人员进行了一些技术优化:1)采用零终端信噪比的散度噪声计划,能够直接生成高清视频,无需级联多个模型。之前的计划在训练和测试阶段信噪比存在偏差,导致生成质量下降。
2)利用预训练文本到图像模型固定参数,保留图像质量和多样性,生成第一帧时不需额外训练数据和计算成本。
3)设计多阶段训练策略,先在低分辨率训练快速采样视频信息,再在高分辨率进行微调,避免全程高分辨率的计算量大。
在人类评估中显示,Emu Video生成的4秒长视频比其他方法更具质量和遵循文本的要求。语义一致性超过86%,质量一致性超过91%,明显优于Gen-2、Pika Labs、Make-A Video等知名商业模型。
英伟达收购人工智能初创公司 OmniML 押注边缘 AI
英伟达在今年2月悄悄收购了人工智能初创公司OmniML。OmniML的技术可以将机器学习模型小型化,使其能够在边缘设备上运行,而不依赖云端。一位发言人以及前OmniML员工的LinkedIn个人资料,他们现在都加入了英伟达。站长网2023-07-05 10:22:090001《黑神话:悟空》全球上线:创Steam下载带宽纪录
8月20日,首款国产3A游戏《黑神话:悟空》正式上线。这款游戏以中国古典名著《西游记》为蓝本,讲述了玩家扮演的"天命人"踏上寻找真相的西游之旅。历时7年精心打磨,凭借其世界级的游戏表现,此前已多次登顶全球最大游戏发行平台Steam的全球热销榜。游戏采用了全球领先的"虚幻5"开发引擎,无论是静态光影还是动态特效,都达到了电影级画质。站长网2024-08-20 10:31:400000Win11更新“复活”老问题!部分应用将导致开始菜单失效
快科技7月27日消息,今天,微软为Win11推送了KB5028254更新补丁,意外导致了一个老问题的复活”。由于该Bug的影响,当用户使用诸如ExplorerPatcher、Start11等UI美化软件后,可能会导致开始菜单无法正常打开。0000五音不全但神曲很多?Suno AI助力博主街头随机采访创作情歌
随着AI技术的不断进步,海外博主“AlasdairMann”利用AI音乐工具SunoAI为路人即兴创作音乐,让更多人体验到了AI的乐趣。这一创新的尝试不仅在社交媒体上引起了广泛关注,还为AI音乐创作潮流增添了新的活力。站长网2024-05-07 19:48:520000垂直内容时代,如何做好全网运营?
中文互联网正在进入全新的内容时代。在过去的十一个月里,AIGC狂飙突进,刷新了我们对于人类科技的认知。尽管“取代”人类创作者仍需要很长的时间,但AI已经创造出了大量的非专业化内容,并将触手伸向专业领域,内容生产力解放的同时,它也正在快速改写着内容生产的前端逻辑:低质内容将被AIGC取代,人类的创作必须深入垂直领域。站长网2023-12-01 09:13:210001