OpenAI大神Karpathy纯C代码打造简化版Llama2 已获2.2K星
OpenAI的Andrej Karpathy(其在深度学习领域的贡献而闻名)创建了一个简化版的Llama2模型_Baby-Llama,并展示了在资源受限设备上使用纯C代码运行复杂模型的可行性。
创建Llama2模型
Karpathy测试了开源项目Llama2,他在纯C编程语言中将nanoGPT调整为Llama2架构,并通过开发C代码的推理引擎“run.c”来实现。该项目在GitHub上已经获得了2.2K star。
Karpathy的方法成功地实现了高度交互率,即使使用包含数百万参数的合理规模模型,并在TinyStories数据集的1500万参数模型上进行训练。他在M1MacBook Air上报告称,Llama2模型的推理速度为每秒约100个标记,在C代码中实现了这一结果,展示了在资源受限设备上运行复杂模型的可行性。
Karpathy的Baby-Llama方法受到了Georgi Gerganov的项目llama.cpp的启发,该项目几乎与使用C和C 在MacBook上运行第一个版本的LLaMA相同。他的方法涉及使用PyTorch从头开始训练Llama2LLM架构,并将模型权重保存到原始二进制文件中。接着,他写了一个名为“run.c”的500行C文件,加载保存的模型,并使用单精度浮点数(fp32)进行推理。这种简化的方法确保了较低的内存占用,并且不需要外部库,从而在单个M1笔记本电脑上高效执行,无需GPU。
小型LLM的崛起
模型逐渐变小的最大原因是为了在较小的本地设备上进行训练和集成。Karpathy的方法不仅不需要GPU,而且为单设备上的实现提供了案例。此外,Meta与芯片制造商Qualcomm合作,旨在使Llama2在本地硬件上运行,而苹果则推出了为Apple Silicon优化的Transformers架构。Karpathy已经展示了许多可能性。
Karpathy强调这个项目是一个周末实验,并不适用于生产级部署,主要目的是展示在资源受限设备上使用纯C代码运行Llama2模型的可行性,因为长期以来,C语言在机器学习中并不常用,因为它不涉及GPU。
项目网址:https://github.com/karpathy/llama2.c
荣耀CEO赵明:正探索把AI大模型引入端侧
在世界移动通信大会(MWC)上海展期间,荣耀CEO赵明在演讲中表示,消费电子行业是长周期行业,影响最大的因子从来不是经济周期,而是创新周期。他还提到,“端”侧的个人大模型将是未来的探索方向,荣耀将率先尝试把AI大模型引入端侧。站长网2023-06-29 19:26:310000微信视频号推出“直播授权”功能 青少年可申请观看直播
今日,微信视频号宣布推出“直播授权”功能。健康、正向、有营养,好看的直播内容,孩子想看时,只需要在手机上点击“向监护人申请”,监护人就会收到临时访问视频号直播的申请,点击“同意”,孩子就可以观看这场直播了。据悉,“直播授权”功能仅限单个授权,每场直播都要发送申请。有了“直播授权”功能,在“青少年模式”下小朋友也能通过微信直接访问视频号直播。站长网2023-05-23 17:58:050000卷生卷死的9.9咖啡赛道,来了一位“超级富二代”
真能打,还是虚胖?从2023年起,肯德基开始以前所未有的努力卖咖啡,推出独立门店,用9.9元的优惠价格和瑞幸贴着打。由于没有得到足够的重视,再加上巨头转身缓慢,在咖啡市场飞速增长的那几年,KCOFFEE掉队了。中国的咖啡市场迎来新旧交替的发展阶段,此刻入局的肯悦咖啡,重新扛起“全场9.9元”的大旗。有人一辈子都到不了罗马,有人出生就在罗马。站长网2024-05-22 22:21:500000Intel官方声明:13/14代i9不稳定根本原因未定 下周发布更新
快科技6月15日消息,有外媒报道称,Intel已经确定了13/14代酷睿i9K系列不稳定问题的根本原因,是存在于eTVB加速中的算法和设定错误,会导致处理器在状态下也会加压超频运行。对此,Intel向快科技发来了一份声明,强调说,还未确定问题的根本原因,正在进行调查。Intel承认,Intel确实发现eTVB中存在一处瑕疵,需要微代码修复,也确实和不稳定现象有关,但不是根本原因。0000微信iOS 8.0.50正式版发布:视频支持倍速播放
站长之家(ChinaZ.com)7月2日消息:微信iOS平台今日正式推出了8.0.50版本,虽然官方更新日志依旧简洁,仅提及“解决了一些已知问题”,但深入探索后不难发现,此次更新实则暗藏玄机,为用户带来了多项实用新特性。站长网2024-07-02 16:05:580000