Scaling

【新智元导读】训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，EpochAI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。数据和算力，是AI大模型最重要的两把「铲子」。算力方面，英伟达的不断创新和各家代工厂的产能提高，让世界各处的数据中心拔地而起，研究人员暂时不用担心计算资源。

2003年夏天的一个周日，AI教父Hinton在多伦多大学的办公室里敲代码，突然响起略显莽撞的敲门声。门外站着一位年轻的学生，说自己整个夏天都在打工炸薯条，但更希望能加入Hinton的实验室工作。Hinton问，你咋不预约呢?预约了我们才能好好谈谈。学生反问，要不就现在吧?

奥特曼的斯坦福闭门演讲内容曝光了，可谓亮点频出:GPT-5会比GPT-4强得多，GPT-6还会更强;ScalingLaw还未过时，我们远未达到这条曲线的顶端;谷歌用GPT-4复刻出Gemini很容易，但难的是新范式的创新。AI届大红人Altman在母校斯坦福开讲当天，在场的学生挤爆了英伟达礼堂。去礼堂路的上，人满为患，超1000人早早排在了门口。而整个礼堂，也是虚无坐席。