周鸿祎称Sora生成视频堪比CG:未做3D建模 只需文字就可逼真描绘
站长网2024-02-18 20:40:530阅
快科技2月18日消息,今日,周鸿祎再次谈到Sora视频模型,他表示Sora生成视频堪比CG。
周鸿祎发视频称,Sora有三个片段让他觉得非常惊讶。其中一个是一堆金毛小狗在雪地里打滚儿,狗狗用鼻子拱雪,甚至一粒一粒的雪粒都能感觉到,他感觉这个画面非常真实。
他认为,对比Pika和Runway是做不出这样效果的。Pika和Runbway实际上是基于图形图像本身的操作来进行生成。只是形成一种比较简单的计算机动画的效果。
周鸿祎说:即使是用常规呢计算机CG电影工业特效来看这三个画面,那也会非常难做,但是到了Sora这里,这些细节都会变得非常简单,只要给出一些文字的提示要求,就能逼真描绘出来”。
他认为,Sora是没有做3D建模的。如果Sora也只是用3D建模再进行渲染,那么这和传统的电影工业走的是一样的路,这样就不具备颠覆性和革命性了。
周鸿祎猜测Sora做到如此效果有三点原因:
1、Sora模拟了人类观察、描绘、表现世界的方法。如果人类画师用笔画出来这三个场景,人类的大脑里不需要3D建模,因为人类对世界有基本认知。人类可以随意想象出自己要做的事,可以控制自己所想。
2、Sora在学习的过程中,用了很多视频、电影的内容来作为训练输入。当输入一些画面,不仅要解读出画面的元素,还要解读出一些物理定律。
openAI的论文中曾提到recaptioning技术,意思是对每一帧画面都能够用文字来描述。这点也正符合人类认知世界的方法。

3、openAI产生了很多3D内容。不排除它用现在游戏引擎做了很多实时3D模型的渲染,再利用这些3D模型把更多的物理知识训练给Sora。
周鸿祎表示,Sora是记录文生视频AIGC的工具,它反映了AI对世界的理解,是从文字进入图像,再从图像展示对这个世界3D模型的理解。
0000
评论列表
共(0)条相关推荐
六位一线AI工程师总结爆火!大模型应用摸爬滚打一年心得公开,网友:全程高能
六位一线AI工程师和创业者,把在大模型应用开发上摸爬滚打一整年的心得,全!分!享!了!(奇怪的六一儿童节大礼包出现了)这篇干货长文,一时间成为开发者社区热议的话题。有网友评价为,大模型领域少有的“有操作性”的实用见解,非常值得一读。这6位作者来自不同背景,比如有大厂工程师,也有独立开发者,还有咨询顾问。站长网2024-06-01 21:16:1200001场直播卖货320万,中小企业应该这么做
│前言│最近小红书直播出现了各种风格“脱口秀”“英语直播”“小说剧场”“闲聊”的风格,给人感觉就是很松弛,直播间互动效果不要太好,甚至连转化也还不错。说到直播,大家脑海中可能会联想“321上链接”,但其实,现在的直播风格与一年前大不相同,往常我们看直播都是硬推产品,很生硬,我一般看到这种都直接划走,除非看到我比较感兴趣的品,或者是直播间很有趣。站长网2024-10-18 23:56:360000苹果推出M3、M3 Pro和M3 MAX芯片
在目前正在举行的发布会上,苹果推出全新M3、M3Pro和M3MAX芯片以及全新一代Gpu。据悉,M3芯片采用3纳米工艺,并且GPU支持动态缓存技术。站长网2023-10-31 08:30:240000智源研究院推出1bit自然语言理解预训练模型BiPFT
智源研究院提出了首个用于自然语言理解任务的1bit轻量化预训练模型BiPFT。与传统的FP32模型相比,BiPFT模型在推理阶段显著减少了操作数量和内存使用。该模型在GLUE标准测试集上的平均性能超过了15.4%。站长网2024-01-11 09:50:030000“低价高配”!这4款骁龙870处理器的千元机,个个都是性价比首选
要问手机里最重要的核心部件是什么?想必大多数人都知道是处理器。一颗好的处理器,不仅意味着更强的性能,就连日常的使用体验也会有不小的提升。而骁龙870作为近两年来次旗舰的标配处理器,性能水平跟功耗表现都相当不错。站长网2023-05-24 03:21:5200021