12年前上手深度学习,Karpathy掀起一波AlexNet时代回忆杀,LeCun、Goodfellow等都下场
没想到,自2012年 AlexNet 开启的深度学习革命已经过去了12年。
而如今,我们也进入了大模型的时代。
近日,知名 AI 研究科学家 Andrej Karpathy 的一条帖子,让参与这波深度学习变革的许多大佬们陷入了回忆杀。从图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow,纷纷忆往昔。
到目前为止,该帖子已经有63万 的浏览量。
在帖子中,Karpathy 提到:有一个有趣的事实是,很多人可能听说过2012年 ImageNet/AlexNet 的时刻,以及它开启的深度学习革命。不过,可能很少有人知道,支持这次竞赛获胜作品的代码是由 Alex Krizhevsky 从头开始,用 CUDA/C 手工编写的。这个代码仓库叫做 cuda-convnet, 当时托管在 Google Code 上:
https://code.google.com/archive/p/cuda-convnet/
Karpathy 想着 Google Code 是不是已经关闭了 (?),但他在 GitHub 上找到了一些其他开发者基于原始代码创建的新版本,比如:
https://github.com/ulrichstern/cuda-convnet
“AlexNet 是最早将 CUDA 用于深度学习的著名例子之一。”Karpathy 回忆说,正是因为使用了 CUDA 和 GPU,AlexNet 才能处理如此大规模的数据 (ImageNet),并在图像识别任务上取得如此出色的表现。“AlexNet 不仅仅是简单地用了 GPU,还是一个多 GPU 系统。比如 AlexNet 使用了一种叫做模型并行的技术,将卷积运算分成两部分,分别运行在两个 GPU 上。”
Karpathy 提醒大家,你要知道那可是2012年啊!“在2012年 (大约12年前),大多数深度学习研究都是在 Matlab 中进行,跑在 CPU 上,在玩具级别的数据集上不断迭代各种学习算法、网络架构和优化思路。” 他写道。但 AlexNet 的作者 Alex、Ilya 和 Geoff 却做了一件与当时的主流研究风格完全不同的事情 ——“不再纠结于算法细节,只需要拿一个相对标准的卷积神经网络 (ConvNet),把它做得非常大,在一个大规模的数据集 (ImageNet) 上训练它,然后用 CUDA/C 把整个东西实现出来。”
Alex Krizhevsky 直接使用 CUDA 和 C 编写了所有的代码,包括卷积、池化等深度学习中的基本操作。这种做法非常创新也很有挑战性,需要程序员对算法、硬件架构、编程语言等有深入理解。
从底层开始的编程方式复杂而繁琐,但可以最大限度地优化性能,充分发挥硬件计算能力,也正是这种回归根本的做法为深度学习注入了一股强大动力,构成深度学习历史上的转折点。
有意思的是,这一段描述勾起不少人的回忆,大家纷纷考古2012年之前自己使用什么工具实现深度学习项目。纽约大学计算机科学教授 Alfredo Canziani 当时用的是 Torch,“从未听说有人使用 Matlab 进行深度学习研究......” 。
对此 Yann lecun 表示同意,2012年大多数重要的深度学习都是用 Torch 和 Theano 完成的。
Karpathy 有不同看法,他接话说,大多数项目都是在用 Matlab ,自己从未使用过 Theano,2013-2014年使用过 Torch。
一些网友也透露 Hinton 也是用 Matlab。
看来,当时使用 Matlab 的并不少:
知名的 GAN 之父 Ian Goodfellow 也现身说法,表示当时 Yoshua 的实验室全用 Theano,还说自己在 ImageNet 发布之前,曾为 Alex 的 cuda-convnet 编写了 Theano 捆绑包。
谷歌 DeepMind 主管 Douglas Eck 现身说自己没用过 Matlab,而是 C ,然后转向了 Python/Theano。
纽约大学教授 Kyunghyun Cho 表示,2010年,他还在大西洋彼岸,当时使用的是 Hannes SChulz 等人做的 CUV 库,帮他从 Matlab 转向了 python。
Lamini 的联合创始人 Gregory Diamos 表示,说服他的论文是吴恩达等人的论文《Deep learning with COTS HPC systems》。
论文表明 Frankenstein CUDA 集群可以击败10,000个 CPU 组成的 MapReduce 集群。
论文链接:https://proceedings.mlr.press/v28/coates13.pdf
不过,AlexNet 的巨大成功并非一个孤立的事件,而是当时整个领域发展趋势的一个缩影。一些研究人员已经意识到深度学习需要更大的规模和更强的计算能力,GPU 是一个很有前景的方向。Karpathy 写道,“当然,在 AlexNet 出现之前,深度学习领域已经有了一些向规模化方向发展的迹象。例如,Matlab 已经开始初步支持 GPU。斯坦福大学吴恩达实验室的很多工作都在朝着使用 GPU 进行大规模深度学习的方向发展。还有一些其他的并行努力。”
考古结束时,Karpathy 感慨道 “在编写 C/C 代码和 CUDA kernel 时,有一种有趣的感觉,觉得自己仿佛回到了 AlexNet 的时代,回到了 cuda-convnet 的时代。”
当下这种 "back to the basics" 的做法与当年 AlexNet 的做法有着异曲同工 ——AlexNet 的作者从 Matlab 转向 CUDA/C ,是为了追求更高的性能和更大的规模。虽然现在有了高级框架,但在它们无法轻松实现极致性能时,仍然需要回到最底层,亲自编写 CUDA/C 代码。
这项AI研究引入 Atom:一种低位量化技术,可实现高效、准确LLM)服务
划重点:-📌Atom是一种低比特量化技术,旨在提高大型语言模型(LLM)的服务吞吐量,同时保持准确性。-📌Atom采用了细粒度和混合精度量化的特殊组合,以保持卓越的准确性。-📌Atom通过将服务吞吐量提高多达7.73倍,相比于典型的16位浮点(FP16)和8位整数(INT8)量化方法,从而满足了对LLM服务需求的不断增长。站长网2023-11-24 10:06:220003Redmi Note 13R系列曝光:入门级别的5G手机
上个月,Redmi举办了一场新品发布会,推出了RedmiNote13系列,包括RedmiNote13、RedmiNote13Pro和RedmiNote13Pro三个版本。其中,RedmiNote13Pro和RedmiNote13Pro凭借均衡的配置和亲民的售价受到了许多消费者的关注。除了上述三款机型外,Redmi还将推出一款入门级机型——RedmiNote13R系列。0000英特尔计划在德建厂想要100亿补贴 德财长:太多了给不起
美国英特尔公司计划在德国建立一家芯片工厂,获得了德国政府68亿欧元的补贴,但据英国《金融时报》6月11日报道,英特尔希望进一步从政府获取32亿欧元的补贴使总金额达到约100亿欧元,然而德国财政部长林德纳表示“给不起”。据报道,英特尔要求更多补贴是因为能源和施工成本上升,但林德纳表示德国政府在预算范围内,无法为英特尔提供更多的补贴。目前,德国政府正在努力整合预算,而不是扩充。站长网2023-06-12 22:57:130000孟羽童称不会纠结公众评价 此前被董明珠称只想赚钱当网红
近日,针对董明珠在格力电器2023届大学生入职仪式中的言论,孟羽童也做出了回应。她表示,自己不会纠结于公众的评价。在格力电器2023届大学生入职仪式中,董明珠批评了孟羽童的工作表现,称其只想着用格力平台当网红,对公司产生了不良影响。对此,孟羽童公开表示,她不会纠结于公众的评价。0000OpenAI开发者大会正式开始接受申请
OpenAI刚刚宣布,他们现在接受申请参加他们的第一个开发者大会。DevDay计划于2023年11月6日在旧金山举行,您可以点此申请。与会者将能够参加主题演讲、分组会议和晚间招待会。分组会议将包括对他们最新的API和功能进行技术深度探讨、开发AI驱动产品的最佳实践、开发者构建全新AI体验的故事等等。如何参加OpenAIDevDay站长网2023-09-19 10:12:450000