登陆注册
21776

Open-Sora悄悄升级 支持16秒视频生成和720p分辨率

站长网2024-04-26 00:47:350

Open-Sora 在开源社区悄悄更新了,现在,该项目不仅支持长达16秒的单镜头视频生成,而且视频分辨率最高可达720p,能够处理各种宽高比的文本到图像、文本到视频、图像到视频、视频到视频以及无限长视频的生成需求。

技术报告与模型架构:

Open-Sora技术报告已在GitHub上发布,详细介绍了新功能和模型架构。

作者团队对STDiT架构进行了关键性改进,提高了模型的训练稳定性和整体性能。

引入了旋转位置编码(RoPE embedding)和QK归一化技术,以增强训练稳定性。

ST-DiT-2架构能够自动缩放位置编码,处理不同大小尺寸的输入。

多阶段训练方法:

Open-Sora采用了多阶段训练方法,通过分步骤引入数据,高效实现高质量视频生成。

初始阶段视频采用144p分辨率,混训图片和更高分辨率视频。

第二阶段提升至240p和480p分辨率,第三阶段进一步增强至480p和720p。

统一的图生视频/视频生视频框架:

基于Transformer,DiT架构可支持图像到图像及视频到视频任务。

提出掩码策略来支持图像和视频的条件化处理。

掩码策略配置:

引入了随机掩码策略,以随机方式选择并取消掩码的帧,提高模型处理图像条件化的能力。

支持多时间/分辨率/长宽比/帧率训练:

通过分桶策略,使用原始视频的分辨率、长宽比和长度进行训练,增加采样灵活性。

数据收集和预处理流程:

作者团队提供了详尽的数据收集与处理指南,分享了自动化的数据处理流程。

性能全方位评测:

Open-Sora能够将文字描述转化为动人的动态视频,支持多种内容、分辨率、长宽比和时长的生成。

尽管取得了进展,但当前生成的视频在噪声问题、时间一致性、人物生成质量以及美学评分方面仍有待改进。作者团队将在下一版本中优先解决这些挑战。

项目地址:https://top.aibase.com/tool/open-sora

体验地址:https://huggingface.co/spaces/hpcai-tech/open-sora

0000
评论列表
共(0)条