周鸿祎称Sora生成视频堪比CG:未做3D建模 只需文字就可逼真描绘
站长网2024-02-18 20:40:530阅
快科技2月18日消息,今日,周鸿祎再次谈到Sora视频模型,他表示Sora生成视频堪比CG。
周鸿祎发视频称,Sora有三个片段让他觉得非常惊讶。其中一个是一堆金毛小狗在雪地里打滚儿,狗狗用鼻子拱雪,甚至一粒一粒的雪粒都能感觉到,他感觉这个画面非常真实。
他认为,对比Pika和Runway是做不出这样效果的。Pika和Runbway实际上是基于图形图像本身的操作来进行生成。只是形成一种比较简单的计算机动画的效果。
周鸿祎说:即使是用常规呢计算机CG电影工业特效来看这三个画面,那也会非常难做,但是到了Sora这里,这些细节都会变得非常简单,只要给出一些文字的提示要求,就能逼真描绘出来”。
他认为,Sora是没有做3D建模的。如果Sora也只是用3D建模再进行渲染,那么这和传统的电影工业走的是一样的路,这样就不具备颠覆性和革命性了。
周鸿祎猜测Sora做到如此效果有三点原因:
1、Sora模拟了人类观察、描绘、表现世界的方法。如果人类画师用笔画出来这三个场景,人类的大脑里不需要3D建模,因为人类对世界有基本认知。人类可以随意想象出自己要做的事,可以控制自己所想。
2、Sora在学习的过程中,用了很多视频、电影的内容来作为训练输入。当输入一些画面,不仅要解读出画面的元素,还要解读出一些物理定律。
openAI的论文中曾提到recaptioning技术,意思是对每一帧画面都能够用文字来描述。这点也正符合人类认知世界的方法。
3、openAI产生了很多3D内容。不排除它用现在游戏引擎做了很多实时3D模型的渲染,再利用这些3D模型把更多的物理知识训练给Sora。
周鸿祎表示,Sora是记录文生视频AIGC的工具,它反映了AI对世界的理解,是从文字进入图像,再从图像展示对这个世界3D模型的理解。
0000
评论列表
共(0)条相关推荐
不要9块9「写真」零元购,妙鸭挑战者出现,可白嫖25张
妙鸭相机带爆了AIGC艺术照赛道,这不,又有新产品探头。而且还卷起来了…妙鸭还要九块九,这个工具可以免费白嫖?出于好奇我们顺藤下载了个APP,打开界面一看,果然也是上传照片生成艺术照的类型,从种类来看还挺多样。点开一个样图,乍一看还不错。和妙鸭相似的是,它同样是传图一次训练,任意生成全身复杂场景照片。但从网友反馈来看,这个最大的区别是可以免费试用,数量25张。站长网2023-08-28 18:15:030000Meta 将向微软、亚马逊或谷歌等大型云提供商收取转售 Llama 2 的费用
Meta计划从主要云计算公司的Llama2人工智能大型语言模型转售中获利。Meta首席执行官马克·扎克伯格在季度收益电话会议上表示:「如果你是像微软、亚马逊或谷歌这样的公司,并且基本上会转售服务,我们认为我们应该获得部分收入。」他继续说道:「我认为这在短期内不会带来大量收入,但从长远来看,希望能有所回报。」站长网2023-07-27 10:35:270001微软推出语音合成模型NaturalSpeech 2 只需几秒提示语音即可定制语音
微软AI团队推出NaturalSpeech2,一款采用潜在扩散模型的先进文本到语音系统,具备强大的零样本语音合成和增强表达力的韵律功能。该系统可用于语音合成和唱歌合成,为用户提供高质量、多样化的语音合成体验。NaturalSpeech2是一种TTS系统,通过潜在扩散模型生成富有表达力的韵律、良好的韧性,并且最关键的是具备强大的零样本能力,能够进行语音合成。站长网2023-07-27 14:22:090000Apple Vision Pro将采用SK海力士提供的定制低延迟DRAM芯片
据《韩国先驱报》报道,AppleVisionPro头戴式设备将使用一种新型的动态随机存取存储器,或DRAM,这种存储器是为了支持Apple的R1输入处理芯片而定制设计的。AppleVisionPro由两颗芯片驱动。主处理器是M2,负责处理内容,运行visionOS操作系统,执行计算机视觉算法,和提供图形内容。站长网2023-07-12 14:30:240000字节跳动利用AI对Linux内核进行优化 显著提高效率
要点:1.字节跳动(TikTok的母公司)利用人工智能(AI)和机器学习对Linux内核进行优化,显著提高了性能和效率。2.这一技术突破表明未来计算机工程师可能需要依赖AI进行内核优化,而字节跳动在演示中展示了这一点的潜力。站长网2023-11-24 09:50:130002