达摩院发布一站式AI视频创作平台“寻光”,打造全新AI工作流
今年是 AI 视频生成爆发的元年,以 Sora 为代表的算法模型和产品应用不断涌现。短短几个月内,我们目睹了几十种视频生成工具的问世,基于 AI 的视频创作方式开始流行起来。
但新技术也引发更多的挑战与质疑,除了大家熟知的 “开盲盒”现象,AI 所生成的视频内容也因可控性差、处理工作流繁琐而频频被诟病。
OpenAI 曾经邀请专业视频制作团队对 Sora 进行了测试,其中来自于多伦多的 Shy Kids 团队,利用 Sora 制作了一个气球人主题的短片,把创意和 AI 技术进行了完美的结合,让人印象深刻。
![](https://i.zz5.net/images/article/2024/07/08/110834300.jpg)
整个短片其实并不是 Sora 直接输出的结果,而是由多个视频片段组成,且 Sora 在生成不同视频时,很难保证主角的一致性。因此,在引入了大量的人工后期编辑,他们才呈现出最终的短片效果。Shy Kids 的主创们总结,“Sora 的技术很酷,但是它的生成过程很难控制。”
对生成内容的精准可控,是 AI 视频创作中的重要需求,也是今天算法面临的一大挑战。
为此,在刚结束的上海世界人工智能大会(WAIC)上,达摩院发布了一站式 AI 视频创作平台 “寻光”。
其定位为 PUGC 一站式 AI 视频创作平台,可辅助用户创作剧本、分镜图等,并通过工作流整合提升创作全流程的效率,支持对生成及上传素材进行丰富的 AI 编辑,提供人物控制、场景控制、风格迁移、运镜控制、目标新增 / 消除 / 修改等十多种 AI 编辑功能,让视频中的元素和对象精准可控。
达摩院希望借由寻光平台进一步提升 AI 视频创作的效率,目标是用 AI 能力重塑传统视频制作的整个流程,打造 AI 时代的全新视频工作流。
业界首次落地
基于图层的视频编辑
在寻光研发的初期,达摩院还与影视传媒从业者及创作者进行了广泛且密集调研,了解其对于视频 AIGC 创作的需求与痛点。他们发现,视频图层几乎是所有视频创作者们提到频次最高、最迫切的需求。
基于此,寻光平台首次在行业推出系统性的视频图层编辑功能。用户通过文本输入,即可生成符合文本描述且具有透明背景的视频,并且一键将其融合到其他背景视频当中。在传统视频生成能力的基础上,用图层这样一种更灵活的形式来产生内容。
![](https://i.zz5.net/images/article/2024/07/08/110834315.jpg)
寻光更提供图层拆解功能,轻轻一圈,选定目标立刻拆解为单独的图层视频,再丝滑嵌入不同的背景视频。
![](https://i.zz5.net/images/article/2024/07/08/110834331.jpg)
用户可以将不同的前景图层跟不同的背景进行图层融合,组合出更多新的视频。图层融合的能力进一步激发 AI 创作力和想象力,同时能够保持多个分镜头之间的场景和人物的一致性。
![](https://i.zz5.net/images/article/2024/07/08/110834363.png)
在达摩院看来,AI 不会取代创作者的工作,而是会优化视频创作的工作流,成为创意驱动的新引擎。
一站式 AI 创作平台
更简洁的交互,更丰富的编辑能力
剧本创作、分镜设计、素材编辑…… 传统的视频创作步骤分工明晰、周期冗长。在 AI 技术的加持下,原本分散在不同制作流程中的创作步骤,如今都可以在寻光平台上流畅完成。
“我们希望让视频编辑像操作 ppt 一样简洁直观,容易上手。” 达摩院视觉技术实验室高级算法专家陈威华在现场介绍,寻光平台的一大亮点在交互方面。
寻光平台在设计时便充分考虑到 AI 视频创作的特点,将每个视频项目抽象为多个分镜头画面,用户可根据剧本自动生成一组分镜头,也可以自己上传原始视频素材,由算法切分成多个分镜头。
在创作空间里,用户可以很方便的查看每一个分镜头,一个场景内的多个分镜头可以收起或者展开,场景之间可以通过拖拽来调整顺序,场景内的分镜头也可以进行拖拽。用户也可以在任意位置上进行分镜头的添加和新建,可调用图片生成或者视频生成能力去产生内容,也可以添加自己已有的各种素材。
![](https://i.zz5.net/images/article/2024/07/08/110834378.jpg)
对于每个分镜头,寻光提供完整且智能的 AI 视频编辑能力进行处理,可依据用户意图,在语义层面而不是像素层面实现编辑。分镜头里的人体、人脸、前景、背景等任意局部目标,都可以进行精细化的编辑和修改。
比如,理解空间景深的运镜控制;
![](https://i.zz5.net/images/article/2024/07/08/110834410.jpg)
又比如,能够理解物体相对关系的目标消除 / 修改。
![](https://i.zz5.net/images/article/2024/07/08/110834425.jpg)
在对视频全局元素的编辑上,寻光平台提供了超过20种的风格迁移。
![](https://i.zz5.net/images/article/2024/07/08/110834441.jpg)
寻光也提供帧率控制、视频超分等实用的视频编辑功能。
![](https://i.zz5.net/images/article/2024/07/08/110834472.jpg)
“我们希望一个视频里的所有元素都是可编辑、可修改的,这样可以给用户的创作提供最大的自由度”,陈威华说。
写在最后
今天,我们正处在 AIGC 的变革浪潮之中,AI 有可能催生出新的视频工作流。无论是专业的影视从业者还是热爱创作的 UGC 用户,都将从中获益。
“工欲善其事,必先利其器”,达摩院希望寻光视频创作平台能够成为每一位创作者的专属视频工作室,实现 AI 与创作者之间更紧密、高效的协作,真正释放 AI 的生产力。
为此,达摩院视觉技术实验室已做了大量技术储备。该实验室致力于多模态视觉信号的理解与生成技术研究,当前的重点研究方向包括更加精准的图像 / 视频 /3D 内容生成,更加可控的图像 / 视频 /3D 内容编辑,更加高效的生成框架,多模态的理解 - 生成框架等。
陈威华表示,“寻光”将于近期开放内测,持续迭代,优化交互,欢迎创作者们来定制属于自己的 AI 工作流。
内测申请地址:
https://xunguang.damo-vision.com/
华为高阶智驾ADS 2.0首车 余承东:问界新M5开启预订
快科技4月17日消息,华为车BU董事长余承东官宣,问界新M5现已开启预订。余承东表示:一年前的今天,我们发布了鸿蒙智行首款搭载华为高阶智能驾驶ADS2.0的车型问界M5智驾版。自此,我们正式开启了高阶智驾新赛道。站长网2024-04-18 16:17:000000淘系首次参战,电商玩家齐聚微信里“挖呀挖”
微信生态已经成为电商平台的重要战场。Tech星球独家获悉,天猫赶在618活动前,在微信内上线了一个名为“天猫优品”的小程序,根据该小程序的资料显示,是于今年5月从“喵我”更名为“天猫优品”,这是淘系首次以“天猫”命名,出现在微信内的电商零售类小程序。目前,“天猫优品”主要销售电器商品,并且还支持微信支付。站长网2023-06-15 19:51:420000巨额盈利“像捡钱”,从付费课到私董会,谁在为“海参哥们”买单?
璩静事件的大结局,将她的“导师”参哥再次推上风口浪尖。璩静因短视频风波发文道歉近期,百度公关1号位璩静勇闯抖音引发争议,以离职结束了她的个人IP第一次探索,有网友称璩静是上了参哥的课后“着魔”,动员部门所有人做短视频。据上游新闻报道,璩静曾在今年2月前往烟台,花5980元上了三天参哥的“抖音操盘手课”。随后参哥本人亲自盖章认证,发视频称两人的确见过面,聊得很愉快。站长网2024-05-15 14:03:1000000.2美元微调就能让ChatGPT彻底破防!普林斯顿、斯坦福发布LLM风险预警:普通用户微调也影响LLM安全性
【新智元导读】微调LLM需谨慎,用良性数据、微调后角色扮演等都会破坏LLM对齐性能!学习调大了还会继续提高风险!虽说预训练语言模型可以在零样本(zero-shot)设置下,对新任务实现非常好的泛化性能,但在现实应用时,往往还需要针对特定用例对模型进行微调。不过,微调后的模型安全性如何?是否会遗忘之前接受的对齐训练吗?面向用户时是否会输出有害内容?站长网2023-10-13 14:45:190000Logo Diffusion:利用A.I.在几秒钟内创建独特的标志设计
LogoDiffusion是一款利用人工智能技术快速创建独特和定制标志的工具。它不仅可以创建品牌资产,还可以创建3D徽标。该平台具有独特的功能,如文本到徽标、草图到徽标、图像到徽标、2D徽标到3D徽标、文本效果以及徽标到插图。品牌资产的重复使用可以提高品牌认知度。LogoDiffusion可以帮助您在每个社交媒体帖子、电子邮件通讯、广告或公告中创建新的徽标变体,从而实现这一目标。站长网2023-12-12 16:20:110000