北大团队发起复现Sora计划“Open Sora” AnimateDiff大神响应
要点:
1. 北大团队联合兔展发起了复现Sora的计划,框架已搭建,袁粒和田永鸿领衔。
2. Open Sora计划采用三部分组成的框架,包括Video VQ-VAE、Denoising Diffusion Transformer和Condition Encoder。
3. 计划已经完成了初步功能的实现,团队在集结开源社区力量,希望尽可能完成复现。
北大团队联合兔展启动了复现Sora的计划,该项目名为Open Sora。这一举措的背后是资源有限的情况下,团队希望汇集开源社区的力量,以尽可能完成复现工作。
项目的核心团队由北大信息工程学院助理教授袁粒和北大计算机学院教授田永鸿等领导,共有13名成员。除了团队成员外,北大校友和AnimateDiff贡献者等也积极响应,并有人表示愿意提供高质量的数据集。
项目地址:https://top.aibase.com/tool/open-sora-plan
关于Sora的复现技术细节已经公布,项目框架包括三个主要部分:Video VQ-VAE、Denoising Diffusion Transformer和Condition Encoder。
为了解决Sora视频的可变长宽比问题,团队采用了上海AI Lab提出的FiT技术,实施了一种动态掩码策略。同时,团队还通过位置插值来处理可变分辨率,并使用Video VQ-VAE来支持可变时长的视频处理。团队已经初步实现了三个功能,并在项目主页上提供了两个demo,展示了10秒和18秒视频的重建效果。
尽管已经取得了一些进展,但团队面临着诸多挑战。目前的训练是在8个A100-80G上进行的,但仍然远远不够,而且需要更多的数据和GPU进行训练。团队已经完成了一些任务,包括采样脚本和在embeddings上添加类条件,但仍有一些待办事项需要完成。
项目的领衔者之一是袁粒,他是北大信息工程学院的助理教授,曾获得福布斯30岁以下亚洲杰出人物榜单的荣誉。另一位领衔者是田永鸿,他是北京大学博雅特聘教授,拥有丰富的科研经验和荣誉。
关于谁能率先发布中文版Sora的问题,目前仍然是一个未解之谜。在业内,有传言称字节可能会成为首个发布中文版Sora的公司。尽管有一些AI模型类似于Sora,比如最近出现的Boximator和Dreamina,但它们与Sora仍存在一定差距。然而,这个问题的答案还有待时间的揭晓。
那些你不知道的AI产品,正在海外闷声赚大钱
据说,国内的AI创业者已经在海外市场杀疯了。最近几个月以来,不断有AI产品出海赚得盆满钵满的消息传出。虽然还没有举世瞩目的杀手级出海应用出现,但据我们了解,的确有不少AI产品在海外市场混得风生水起,已经出圈的如AI短视频工具OpusClip、谷歌浏览器插件Monica、ChatGPTforGoogle等等,还有很多不显山露水、闷声赚钱的小产品。站长网2023-08-21 20:33:160000不用拿手机了!高德地图PC体验版上线 大屏、功能更多
5月7日消息,高德地图PC体验版现已上线微软Microsoft商店,为用户提供全新的地图大屏幕体验和一系列实用的功能,包括路线规划、信息搜索、收藏和个人主页等。其中,路线规划功能是高德地图PC体验版的一大亮点。该功能支持驾车、新能源、货车、摩托车、公交、骑行和步行等多种出行方式的智能规划方案,可提前规划行程,让出行更加便捷。站长网2023-05-07 10:58:080000抖音开卷即时零售!
用户在哪里,大厂就卷到哪里。这一点在抖音身上体现的淋漓尽致。2022年,抖音开始测试推出即时零售服务“小时达”,抖音小时达是抖音电商旗下为门店周边3-5km范围内的用户提供小时级一站式即时到家的购物体验。汇集超市便利、果蔬生鲜、3C数码、医药、鲜花绿植、服饰美妆、家电杂货等品类。站长网2023-10-12 09:09:550000英国育儿论坛Mumsnet用OpenAI技术创建了AI聊天机器人
本文概要:1.育儿论坛MumsnetOpenAI技术创建了一个AI聊天机器人,名为MumsGPT,可用于分析网站上用户留下的评论和帖子。2.MumsGPT将用于指导决策者在育儿问题上并为广告商提供更精准的营销目标。3.MumsGPT目前只是一个研究工具,但未来可能对公众开放。站长网2023-08-22 14:14:320000iPhone15Pro满意度下降 续航差成iPhone15Pro吐槽焦点
最近,市场调查机构PerfectRec通过分析谷歌上70多万条iPhone15系列的评价,揭示了一个令人关注的现象:iPhone15Pro的满意度在四款机型中最低,而且这一满意度还在持续下滑。站长网2024-02-01 11:47:080000