媲美Sora?快手文生视频模型可灵开放测试 更懂物理,最长可生成2分钟视频
昨天,快手公司推出了一款名为「可灵」的全新视频生成大模型,该模型采用了与Sora相似的技术路线,并结合了快手自研的多项技术创新。这款模型不仅能够生成长达2分钟、30fps、1080p分辨率的超长视频,支持多种宽高比,还能模拟物理世界的特性,精准建模复杂运动。
亮点:
1、生成能力强大:
支持长达2分钟的30fps高清视频生成,分辨率高达1080p。
支持多种宽高比,包括竖版视频,非常适合快手的短视频生态。
2、运动和物理模拟:
准确刻画复杂、大幅度的运动,如公路上奔跑的老虎、宇航员在月球上行走等。
能够模拟物理特性,如重力、液体流动和光学反射等,生成的画面更符合真实物理规律。
3、应用场景广泛:
从娱乐到教育,可灵的应用场景广泛。
支持文本转视频、多种控制信息输入、以及丰富的内容控制能力。
「可灵」大模型够准确刻画复杂、大幅度的时空运动,如公路上高速奔跑的老虎,画面连贯,动作协调,甚至奔跑过程中躯干的抖动也得到了细致展现。它还能模拟真实物理世界的特性,比如倒牛奶时的重力规律和液面上升,以及光学上的反射规律。此外,「可灵」还能真实反映与真实物理世界的交互,如小男孩吃汉堡时齿印的变化等。
以下是官方发布的视频案例及提示词:
prompt:一个戴眼镜的中国男孩在快餐店内闭眼享受美味的芝士汉堡
prompt:一名宇航员在月球表面奔跑,低角度镜头展现了月球的广阔背景,动作流畅且显得轻盈
一只戴着眼镜的兔子在看报纸
厨师正在切菜
一只蓝色的鹦鹉
技术特点
1、原生视频生成技术:
采用类似Sora的DiT结构,用Transformer代替传统的卷积网络U-Net。
3D VAE网络用于时空同步压缩,提高重建质量和训练性能。
3D Attention机制用于时空建模,提升复杂时空运动的建模能力。
2、高质量数据支持:
构建了完备的标签体系,对训练数据进行精细化筛选和分布调整。
专用的视频描述模型生成精确、详尽的结构化视频描述,提升模型的文本指令响应能力。
3、高效训练策略:
使用分布式训练集群和优化策略提高运算效率。
分阶段训练策略:初期低分辨率阶段侧重数量,后期高分辨率阶段侧重质量,确保模型在各阶段的优化。
实际应用
1、快影APP:
可灵大模型已在快影APP中开启邀测,当前版本支持生成720P视频,竖版视频生成能力即将开放。
2、其他应用:
“AI舞王”:上传全身照,生成人物跟随音乐跳舞的视频。
“AI唱跳”:生成跳舞并唱歌的视频。
未来还将推出图生视频功能。
快手在大模型技术方面动作迅速,与多个高校或科研机构合作发布了多项关键技术,为「可灵」大模型积累了深厚的技术沉淀。现在,快手的文生视频功能已正式亮相,期待其在短视频场景中的应用落地。
对AI视频创作感兴趣的用户,可以在快影APP中体验「可灵」大模型的功能。
体验方法:快影 APP-AI 玩法-AI 视频生成中申请。
官网地址:https://top.aibase.com/tool/kelingdamoxing
重回之作!曝华为授权门店已开始接受P70系列盲订
快科技4月3日消息,据国内媒体报道,目前已有华为授权门店开始接受P70系列产品盲订。北京市朝阳区某华为门店的销售人员表示:现在可以开始接受盲订,但是什么时间正式发售还需要以华为官方通知为准。”报道称,门店目前可以帮消费者预定所需要的内存版本,但颜色等其他产品信息现在授权门店并不知晓,后续会在正式发售时通知盲订消费者。目前,华为P70全系列三款机型目前已全部入网,认证信息已经公布。站长网2024-04-18 15:03:310000OpenAI 开发 ChatGPT 成本高昂 未来几年尝试筹集多达 1000 亿美元开发更先进的 AI
据TheInformation消息,三位了解该公司财务状况的人士称,由于开发了ChatGPT并从谷歌聘请了关键员工,OpenAI去年的损失大约翻了一番,达到约5.4亿美元。这一数字反映了在开始上线聊天机器人之前,训练其机器学习模型的高昂成本。站长网2023-05-05 15:19:550001研究揭示如何 SEO 优化网站以提升 AI 搜索引擎中的可见性
由普林斯顿大学、佐治亚理工学院、艾伦人工智能研究所和IIT德里的研究人员团队进行的最新研究发现了多种提高网站在人工智能(AI)搜索引擎中可见性的方法。研究显示,这些优化方法成功使较小、排名较低的网站的可见性提高了115%,使它们能够超越通常在搜索结果顶部占据主导地位的大型企业网站。研究团队观察到,他们的生成引擎优化(GEO)技术能够普遍提高网站的可见性,最多可达40%。0000微信:警惕诈骗团伙假借官方公众号进行欺诈行为
微信发布《关于假借官方公众号进行欺诈的提示》称,近期,平台发现有诈骗团伙向用户发送诈骗短信,以可以抹除网贷额度、修复征信等为噱头,在沟通过程中要求用户先关注银行等机构的官方公众号,引导用户将仿冒的“中国人民银行征信中心”“中国银保监会”等官方客服链接或二维码发送到该公众号内并点击打开,部分用户误认为该欺诈链接就是相关公众号的官方客服,从而上当受骗。站长网2023-07-20 10:05:180003亚马逊上线生成式 AI 工具来总结客户真实的产品评价
亚马逊于周一宣布推出一种新的生成式AI工具,它将为每个产品总结客户的评论。AI工具将总结最经常提到的产品特点和常见的客户意见,以一段文字的形式显示在产品详细页面旁边,而不是让用户费力地筛选数百甚至数千个客户的个性化评论。站长网2023-08-15 08:57:490000