Ilya向全世界宣布:预训练结束了!全球AI数据耗尽,超级智能才是未来
【新智元导读】全球顶会NeurIPS2024中,Ilya登场演讲,向全世界宣告:预训练结束了!数据如同化石燃料般难以再生,未来,AI的发展方向就是具备自我意识的超级智能。
刚刚,Ilya现身NeurIPS2024,宣布:预训练从此将彻底终结。
短短16分钟的发言,足以震撼全场。
是的,他的原话是——
正如我们所知的那样,预训练毫无疑问将会终结,与此同时我们也不会再有更多数据了。
原因在于,我们只有一个互联网,训练模型需要的海量数据即将枯竭,唯有从现有数据中寻找新的突破,AI才会继续发展。
Ilya的预测是,以后的突破点,就在于智能体、合成数据和推理时计算。
未来,我们会走向何方?
Ilya告诉我们:接下来登场的就是超级智能(superintelligence)——智能体,推理,理解和自我意识。
11月底,NeurIPS2024时间检验奖公布,Ilya和GAN之父获奖。
论文地址:https://arxiv.org/abs/1409.3215
Ilya感谢了自己的两位合著者Oriel Vinyals和Kwok-Lee,放出了下面这张图。
这是在十年前,2014年蒙特利尔NeurIPS 会议上一次类似演讲的截图。Ilya说,那是一个更加纯粹的时代。
而如今,图中的三位青葱少年已经长成了下面的模样。
Ilya要做的第一件事,是展示10年前同一个演讲的PPT。
他们的工作,可以用以下三个要点概括——
这是一个基于文本训练的自回归模型;它是一个大型神经网络;它使用了一个大规模的数据集。
10层神经网络,只需几分之一秒
下面,Ilya与我们探讨了「深度学习假设」。
如果你有一个10层的大型神经网络,它就可以在几分之一秒内,完成任何人类能做的事。
为什么要强调几分之一秒内?
如果你相信深度学习的基本假设,即人工神经元和生物神经元是相似的,并且你也相信真实神经元的速度比人类快速完成任务的速度更慢,那么只要全世界有一个人能够在不到一秒内完成某项任务,那么一个10层神经网络也能做到。
只要把它们的连接,嵌入到你的人工神经网络中。
这就是我们的动机。
我们专注于10层神经网络,因为在那个时候,这就是我们能够训练的神经网络。如果你能突破10层,你当然可以完成更多事。
下面这张PPT,描述的是他们的「主要想法」。
核心观点就是,如果你有一个自回归模型,并且它能够足够好地预测下一个Token,那么它实际上会抓取、捕获、掌握接下来任何序列的真实分布。
在当时,这是一个相对新颖的观点。
尽管它并不是第一个被应用于实践的自回归神经网络,但Ilya认为,这是第一个令他们深信不疑的自回归网络:如果把它训练得足够好,那么你就会得到想要的任何结果。
当时,他们尝试的是翻译。这个任务如今看来平凡无奇,当时却极具挑战性。
接下来,Ilya展示了一些可能很多人从未见过的古老历史——LSTM。
不熟悉的人会觉得,LSTM是Transformer出现之前,深度学习研究者所使用的工具。它可以被看作是一个旋转了90度的ResNet,但更复杂一些。
我们可以看到积分器(integrator),如今被称为残差流(residual stream),还涉及一些更为复杂的乘法操作。
Ilya还想强调的一点是,他们当时使用了并行化。
不过并不是普通的并行化,而是流水线并行化(pipelining),每层神经网络都分配一块GPU。
从今天来看,这个策略并不明智,但当时的他们并不知道。于是,他们使用8块GPU,实现了3.5倍的速度。
从这里,Scaling Law开始了
最终,ILya放出了那次演讲中最为意义重大的一张PPT,因为,它可以说是「Scaling Law」的开端——
如果你有一个非常大的数据集,训练一个非常大的神经网络,那么可以保证成功。
从广义上来说,后来发生的事情也的确如此。
接下来,Ilya提到了一个真正经得起时间考验的想法——联结主义(connectionism),这样说深度学习的核心思想。
这种理念认为,如果你愿意相信人工神经元在某种程度上有点像生物神经元,那么你就会相信,超大规模神经网络并不需要达到人类大脑的级别,就可以用来完成几乎所有人类能做的事。
但它与人类仍然不同。因为人类大脑会弄清楚自己如何配置,它使用的是最优的学习算法,需要与参数数量相当的数据点。
在这一点上,人类仍然更胜一筹。
所有这些,最终都引出了「预训练时代」。
这个时代,可以用GPT-2、GPT-3和Scaling Laws定义。
此处,ILya格外感谢了前同事Alec Radford,Jared Kaplan和Dario Amodei。
这项技术,是推动我们今日所见所有技术进步的核心驱动力。
预训练时代,即将终结
然而,我们所知的预训练路线,毫无疑问会终结。
为什么?
这是因为,尽管计算能力正通过更好的硬件、更优的算法和更大的集群不断增长,但数据量并没有增长——我们只有一个互联网。
甚至可以说,数据是AI的化石燃料。它们是以某种方式被创造出来的,而如今,我们已经达到了数据峰值,不可能再有更多数据了。
当然,目前现存的数据,仍能支持我们走得很远,但我们只有一个互联网。
接下来会发生什么?Ilya给出了下列预测。(或者只是提到他人的猜测)
首先,智能体会有一些突破,这些能自主完成任务的AI智能体,就是未来的发展方向。
其次,还会有一些模糊的合成数据,但这到底意味着什么?很多人都会取得有趣的进展。
最后,就是推理时计算了,最引人瞩目的例子,就是o1。在预训练后,我们接下来该探索什么?o1给出了生动的例子。
下面,是一个来自生物学的例子。
这张图,展示了哺乳动物的身体大小与大脑大小之间的关系。
在生物学中,一切都很混乱,但上面这个紧密联系,却是一个罕见的例子。
从人类及其近亲的进化分支上看,包括尼安德特人、能人等等,大脑与身体比例的缩放指数都不同。
这意味着在生物学中,确实存在不同比例缩放的先例。
如今我们所扩展的,可以说是第一个我们知道该如何扩展的事物。这个领域中的每个人,都会找到解决办法。
而我们在相关领域,也取得了惊人的进步。10年前这个领域的人,还会记得当时是多么无能为力。过去2年进入深度学习的人,可能都无法感同身受。
超级智能是未来,还会与意识结合
最后Ilya谈到的,就是超级智能(superintelligence)了。它是公认的发展方向,也是研究人员们正在构建的东西。
从本质上来说,超级智能与现在的AI完全不同。
目前,我们拥有出色的LLM和聊天机器人,但它们也表现出某些奇怪的不可靠性——时常会感到困惑,但却能在评估中表现出远超人类的能力。
虽然我们还不知道如何调和这一点,但最终迟早会实现以下目标:AI将真正具备实际意义上的智能体特性,并将正学会推理。
由于推理会引入了更多的复杂性,因此一个会推理的系统,推理量越多,就会变得越不可预测。相比之下,我们熟知的深度学习都是可以预测的。
举个例子,那些优秀的国际象棋AI,对于最顶尖的人类棋手来说就是不可预测的。
所以,我们将来不得不面对的,是一些极其不可预测的AI系统——它们能够从有限的数据中理解事物,同时也不会感到困惑。
同样,自我意识也是有用的,它构成了我们自身的一部分,同时也是我们世界模型中的一部分。
当所有这些特性与自我意识结合在一起时,就会带来与现有系统完全不同性质和特性的系统,它们将拥有令人难以置信的惊人能力。
当然,虽然无法确定如何实现、何时实现,但这终将发生。
至于这种系统可能带来的问题,就留给大家自己去想象吧。
毕竟预测未来是不可能的,任何事情都有可能发生。
参考资料:
https://x.com/_jasonwei/status/1867696401830096970
https://x.com/blueberry_feed/status/1867764724206629224
https://x.com/tmychow/status/1867695173783925071
专注Robotaxi,才是真正的Robotaxi第一股
2024年10月25日,自动驾驶公司文远知行成功登陆纳斯达克,成为今年中国公司最大的赴美IPO之一。开盘之后,文远知行一度大涨近30%,市值冲到380亿人民币。0000微软专利:根据你的人体生成虚拟自我
微软最近获得了一项专利,介绍了一种使用传感器数据根据用户真实身体生成虚拟自我的技术。这项技术能够捕捉用户身体的运动和位置信息,然后将其映射到一个虚拟模型上,以创造出一个超逼真的虚拟身体。这种虚拟身体不仅外观真实,而且能够模仿用户的动作和姿态。它通过优化算法和预训练来实现用户运动到虚拟身体运动的准确映射。这种技术的应用前景广阔,包括沉浸式社交平台、虚拟现实体验、运动追踪等。站长网2023-10-20 15:04:470001英国部长们敦促保护创意人员作品被AI公司使用
重点:⦁上议院委员会表示,版权法不足,科技公司不得许可使用内容⦁AI公司非法使用内容培训大型语言模型,导致创作者受损⦁委员会敦促政府采取行动解决版权目标问题上议院一个委员会表示,部长们必须捍卫内容创作者的利益,他们的作品在未经科技公司许可的情况下被用来构建人工智能产品,例如产生“巨额经济回报”的聊天机器人。站长网2024-02-02 17:53:520000Midjourney+Gen2,7步完成「芭本海默」,引Karpathy惊呼|附实测经验
【新智元导读】7步完成「芭本海默」,电影工业2.0真的要来了吗?在前两天芭比海默全网爆火之后,不断有网友“复现”用MidJourneyGen-2制作电影的神技!而一位网友更新了一个自己的教程,制作芭本海默只需7步,被Karpathy盛赞为“电影制作工业2.0”。一部20秒钟,有完整剧情,包含6个分镜头的动画短片,7步完成,曹植看了都要直呼内行!7步完成芭比海默,效果惊人站长网2023-09-18 13:51:410000马上消费发布“天镜”零售金融大模型
8月28日,马上消费金融股份有限公司在金融大模型发展论坛上发布了首个零售金融大模型——"天镜"。马上消费通过构建"三纵三横"的大模型发展技术布局,聚焦基础语言特性能力、逻辑和推理能力、语义理解、生成与创作、金融领域能力、安全与合规能力等六个核心领域,推动金融数字化转型。站长网2023-08-29 11:08:130000