Scaling

《黑神话·悟空》的火爆，带火的不仅是3D游戏本身，还有背后暗潮汹涌的AI3D生成技术。一直以来，外界对3D大模型赛道的关注度都稍逊于语言模型和视频模型。然而，全球3D大模型选手们则都在暗中较量、默默发力，从a16z押注的Yellow，到李飞飞的WorldLabs，3D大模型的迭代速度是没落下一点。

就连「量化」也不管用，scalinglaw真的要终结了吗?一提scalinglaw，人们重点关注的是参数规模、数据量等因素，却忽视了「精度」这一关键变量。哈佛斯坦福MIT等机构研究人员竟发现，低精度训练会降低模型的「有效参数量」!对此，他们提出了「精度感知（precision-aware）」scalinglaw。

【新智元导读】训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，EpochAI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。数据和算力，是AI大模型最重要的两把「铲子」。算力方面，英伟达的不断创新和各家代工厂的产能提高，让世界各处的数据中心拔地而起，研究人员暂时不用担心计算资源。

2003年夏天的一个周日，AI教父Hinton在多伦多大学的办公室里敲代码，突然响起略显莽撞的敲门声。门外站着一位年轻的学生，说自己整个夏天都在打工炸薯条，但更希望能加入Hinton的实验室工作。Hinton问，你咋不预约呢?预约了我们才能好好谈谈。学生反问，要不就现在吧?

奥特曼的斯坦福闭门演讲内容曝光了，可谓亮点频出:GPT-5会比GPT-4强得多，GPT-6还会更强;ScalingLaw还未过时，我们远未达到这条曲线的顶端;谷歌用GPT-4复刻出Gemini很容易，但难的是新范式的创新。AI届大红人Altman在母校斯坦福开讲当天，在场的学生挤爆了英伟达礼堂。去礼堂路的上，人满为患，超1000人早早排在了门口。而整个礼堂，也是虚无坐席。