Open-Sora悄悄升级 支持16秒视频生成和720p分辨率
Open-Sora 在开源社区悄悄更新了,现在,该项目不仅支持长达16秒的单镜头视频生成,而且视频分辨率最高可达720p,能够处理各种宽高比的文本到图像、文本到视频、图像到视频、视频到视频以及无限长视频的生成需求。
技术报告与模型架构:
Open-Sora技术报告已在GitHub上发布,详细介绍了新功能和模型架构。
作者团队对STDiT架构进行了关键性改进,提高了模型的训练稳定性和整体性能。
引入了旋转位置编码(RoPE embedding)和QK归一化技术,以增强训练稳定性。
ST-DiT-2架构能够自动缩放位置编码,处理不同大小尺寸的输入。
多阶段训练方法:
Open-Sora采用了多阶段训练方法,通过分步骤引入数据,高效实现高质量视频生成。
初始阶段视频采用144p分辨率,混训图片和更高分辨率视频。
第二阶段提升至240p和480p分辨率,第三阶段进一步增强至480p和720p。
统一的图生视频/视频生视频框架:
基于Transformer,DiT架构可支持图像到图像及视频到视频任务。
提出掩码策略来支持图像和视频的条件化处理。
掩码策略配置:
引入了随机掩码策略,以随机方式选择并取消掩码的帧,提高模型处理图像条件化的能力。
支持多时间/分辨率/长宽比/帧率训练:
通过分桶策略,使用原始视频的分辨率、长宽比和长度进行训练,增加采样灵活性。
数据收集和预处理流程:
作者团队提供了详尽的数据收集与处理指南,分享了自动化的数据处理流程。
性能全方位评测:
Open-Sora能够将文字描述转化为动人的动态视频,支持多种内容、分辨率、长宽比和时长的生成。
尽管取得了进展,但当前生成的视频在噪声问题、时间一致性、人物生成质量以及美学评分方面仍有待改进。作者团队将在下一版本中优先解决这些挑战。
项目地址:https://top.aibase.com/tool/open-sora
体验地址:https://huggingface.co/spaces/hpcai-tech/open-sora
OpenAI大佬甩出「喵喵GPT」调戏黑客!分享ChatGPT成功的秘密:极限压榨GPU资源
一个30人的团队,完成了这个地球上最受欢迎的产品的发布和维护。他们成功的经验和失败的教训,简直如金子一般珍贵。OpenAI的工程团队经理(EngineeringManager)EvanMorikawa在一个开发者社区的活动中,分享了OpenAI发布ChatGPT以来,工程团队从开发和支持层面获得的最重要的几条经验和有趣的事情。CatGPT调戏黑客站长网2023-11-08 18:04:370000AI 超越人类,在街景图像中定位精确度更高
斯坦福大学的三位计算机科学家开发了一个深度学习模型,可以通过观察谷歌街景图像来确定大致的拍摄位置。这个模型在一个流行的地理猜测游戏GeoGuessr中表现出色,甚至超过了顶级玩家。尽管这个模型不能精确确定街景照片的位置,但它能够可靠地确定国家,并在很大程度上猜测出离正确位置不超过15英里的范围内。站长网2023-07-21 17:54:500003Salesforce 和埃森哲合作创建生成式人工智能加速中心
Salesforce和全球专业服务公司埃森哲合作,以加速跨客户关系管理(CRM)技术部署生成式人工智能。两家公司计划为生成人工智能建立一个加速中心,让客户能够扩展Salesforce的EinsteinGPT,这是一种用于CRM的生成人工智能工具。站长网2023-05-05 10:51:070000美团外卖闯香港,尚能饭否
内地市场增长受限,美团需要寻找新增量。香港地区既有与内地相似之处,又在竞争环境、配送方式和用户习惯等方面明显不同。美团既有的商业模型可以在此检验和矫正。它的第一份成绩单如何?美团外卖的香港试验,仍在进行中。站长网2023-07-13 09:09:190001Odin:一个利用GPT-4技术从数据中生成知识图谱的插件
最近,GitHubRepo上的一个名为Odin的新项目引起了业界的广泛关注。该项目的主要功能是利用GPT-4技术从用户的数据中生成知识图谱。知识图谱是一种以图形方式表示知识的方法,能够帮助用户更好地理解数据并从中提取有价值的信息。GPT-4是一种先进的自然语言处理技术,能够理解和生成人类语言,因此,Odin使用GPT-4生成知识图谱,既保证了图谱的准确性,也提高了生成速度。站长网2023-09-27 10:34:360000