Karpathy 4小时AI大课上线,小白看了都会从零构建GPT-2
距上次Karpathy AI大课更新之后,又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。
大神Karpathy新一期AI大课又上线了。
这一次,他讲的内容是——从头开始实现124M大小的GPT-2模型,足足有4个小时。
Karpathy对这个视频2个字总结:全面。
我们从空文件开始,以GPT-2(124M)模型结束。
也就是说,这就是手把手教程,就连AI小白看后,都会搭建GPT-2了。
Karpathy称这是从0到英雄(Zero To Hero)的系列中最新的视频。
翻看以往Zero To Hero系列中的视频,最长的也不过2小时25分,这次4小时完全创下了最新记录。
帖子中,他highlight了最新视频中的一些重点内容:
- 我们首先构建GPT-2神经网络
- 然后对其进行优化,以实现快速训练
- 参考GPT-2和GPT-3论文,设置训练运行优化和超参数
- 启动模型评估
- 祈祷一切顺利,上床睡觉
- 等到第二天早上,便可查看模型的结果,欣赏模型生成的有趣输出。
发布短短的几个小时,视频已经有了11万次播放量。
Karpathy表示,这次「过夜」的训练结果,表现甚至接近GPT-3(124M)模型的水平。
顺便提一句,Karpathy自己做的封面配图,也很有趣,直接把英伟达GPU点起来了。
网友在下面评论道,Karpathy就是我的神!
华裔天才少年Alexandr Wang称,「你的视频就相当于流行音乐明星发布的新单曲」。
「我的生活很简单,Karpathy上线GPT-2『大片』,看就完事儿了」。
视频下方,许多网友纷纷为这个免费课程「打赏」。
接下来,让我们一起来看看这节课讲了什么?
4小时大课,干货满满
最开始部分,Karpathy先介绍了下GPT-2的情况。
2019年,OpenAI首次发布了GPT-2模型,并公布了相关论文和代码。
论文地址:https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
而这次的视频,就是要复现一个GPT-2模型,共有1.24亿参数的模型。
之所以选择这一参数,要清楚的是,GPT-2在发布前会有一个小系列(miniseries),其中有4种参数,而最大的那个称为GPT-2。
另外,你可以将模型放在X轴上,各种下游指标放在Y轴上,便可以画出Sacling Law定律的曲线。基本上,随着模型规模扩大,下游任务性能越好。
1.24亿参数Transformer架构共有12层,并且有768个通道(channels)。
GPT-2发布已经是5年前的事了,而现在复现容易得很多,对GPU计算需求没那么大,大概需要1个小时,10美元的成本。
Karpathy表示,自己训练模型的GPU来自Lambda GPU Cloud,因为他认为这是在云中按需启动GPU实例的最佳和最简单的方法。
接下来,第一步就是加载GPT-2模型,进入GitHub源代码库,然后点击modle.py。
可以看到,这个模型使用的Tensorflow编写的。
Karpathy尴尬地表示道,「现在我们很少使用了,直接从更友好的Pytorch开始」。
为了更方便地复现,Karpathy还选择使用了Hugging Face上的GPT-2代码,其基于Transformer重新搭建,更容易使用。
接下来,就是从Hugging Face页面中,导入GPT-2模型。
在预训练GPT-2之前,如果想要复现一个1.5B模型,只需在gpt2后面,加上-xl。
下面,将Pytorch NN模块初始化为在如下类中定义,然后打印键值。
如下是,GPT-2模型内部不同的参数和形状,W token嵌入的权重大小是50257,768。
这节课共分为4个部分,接下来从构建到参数微调,Karpathy都给出了非常详细的讲解。
第一节是实施GPT-2nn.模块。
第二节是速战速决,混合精度的GPU,1000ms
第三节是Hyperpamats,AdamW,梯度剪裁
第四节是等待结果!GPT-2、GPT-3复现对比
最后,睡觉得到的结果,第二天再看结果。
模型的训练损失也在不断下降,而且与GPT-3的性能相媲美。
最后,这个4小时的大课,小编放这儿了。参考资料:
https://x.com/karpathy/status/1799949853289804266
https://www.youtube.com/watch?v=l8pRSuU81PU
英伟达的人工智能视频超分辨率技术现已支持 RTX 20 系列 GPU
站长之家(ChinaZ.com)10月18日消息:英伟达正在提升RTX20系列GPU用户的游戏体验,一款新的GPU驱动程序现在允许这些较旧的RTXGPU使用RTXVideoSuperResolution技术来提高旧视频的清晰度。站长网2023-10-18 21:22:230000ChatGPT 常被用来干什么?调查显示:近三成拿它来协助编程!
【CSDN编者按】ChatGPT自去年底一经出世便风靡全球,不管是专业人士、学生、开发者,或是创作者,各行各业似乎都使用过这款工具,访问量以及关于它的报道更是如洪水般骤增。不过,最近一段时间,很多人发现ChatGPT被提及的次数越来越少,这不免让有些人说是学生放假了、试一试就不再用了,还有人说炒作热度过去了“要凉了”,那么究竟是为什么呢?这篇文章将试图给出答案。站长网2023-09-01 12:04:550000从财报看,谷歌搜索还没有受到 ChatGPT 或新必应的影响
微软和Alphabet同时发布了2023年第一季度财报。他们如何看待人工智能的进步的影响呢?财报显示,上个季度,谷歌搜索和“其他业务”收入从396亿美元增至404亿美元,同比增长约1.87%。相比之下,2022年同期增长24.28%,2021第一季度增长30.11%。站长网2023-04-27 10:56:170002英伟达CEO黄仁勋称:美国建立独立的芯片供应链或需20年时间
**划重点:**1.🌍Nvidia首席执行官表示,美国可能需要20年时间才能建立起独立的芯片供应链。2.💼他指出,Nvidia的成功依赖于来自世界各地的多种元件。3.🤖针对美国对中国的出口管制,Nvidia正寻求在遵守规定的情况下继续在中国开展业务,以避免收入损失可能导致的竞争力下降。站长网2023-11-30 12:11:000000月之暗面撞上算力墙?
“不好意思,刚刚和Kimi聊的人太多了。Kimi有点累了,可以晚点再问我一遍。”近期正在赶毕业论文的娄晓彤,时不时仍会收到AI助手Kimi无法使用的提示。站长网2024-05-07 19:48:540000