内部人士透露:OpenAI 很可能将 GPT-3.5 开源
OpenAI 很可能在未来几个月内发布其模型的权重。OpenAI 的 Andrej Karpathy 最近表示,所有这些对于转换器语言模型来说都是非常通用的。“如果 / 当 OpenAI 发布模型权重(我既不能确认也不能否认!),那么这里的大部分代码将非常相关。”
根据 OpenAI Karpathy 的说法,OpenAI 很可能会开源 GPT-3.5,他是深度学习领域的知名人物。需要注意的是,公司尚未正式宣布此事。这个对话是从 Twitter(现在是 X)的一个帖子中开始的,其中一个用户问 Karpathy 为什么一直在玩 Llama2,而不是为 OpenAI 构建 Jarvis。

这一新发展是在最近发布的 Baby Llama(又名 llama.c)的背景下的,Karpathy 在他最近的实验中探索了在单台计算机上运行大型语言模型(LLMs)的概念,这受到了 Meta 的 Llama2发布的启发。
Karpathy 表示,llama2.c 现在可以加载和推理 Meta 发布的模型。他进一步举了一个例子,即在云 Linux 服务器上的96个 OMP 线程上以大约3个标记 / 秒的速度推理最小的7B 模型,并且预计很快可以达到约300个标记 / 秒的速度。
此外,他表示,如果你可以让7B 模型以良好和交互性的速度运行,那么你可以在最小的 llama2.c 仓库代码中从 “从头训练的微模型” 到 “LoRA 微调的7B 基础模型” 进行转变(包括训练和推理)。可以实现更高的能力并使用更少的训练数据。
有趣的是,Karpathy 的方法的成功在于其能够以高度交互的速度运行,即使是包含几百万参数的合理大小的模型,并且是在一个包含1500万参数的 TinyStories 数据集的模型上训练的。
希望它能带回真正的 OpenAI,该公司最初是一家开源非营利公司,Karpathy 是最初的创始成员之一,在为开源社区做出贡献方面发挥了积极作用。
外国博主,还能“坐地吸金”吗?
“给外国人一点小小的亚运震撼。”随着国庆假期的结束,杭州亚运会也落下了帷幕。这场长达15日的盛会,外国人作为其中的显眼包,让不少杭州人体验了一把“无痛出国”,“外国人来亚运会进货”“还不如一个外国人会讲价”“在哪里能偶遇中东富豪”等话题也频频在社交平台刷新存在感。站长网2023-10-09 17:51:380002苹果为双11抢销量拼了!iPhone 16系列天猫官方旗舰店狂减1600元
快科技10月20日消息,一年一度的双11电商节已拉开大幕,各家手机厂商为了在双11期间提升销量,推出各种优惠降价活动,配合电商平台补贴,一些旗舰新机来到史低价。今日,AppleStore官方旗舰店公布天猫双11优惠,宣布10月21日晚8点现货开卖,iPhone16系列至高优惠1600元。站长网2024-10-20 13:59:500000Google推出富有创意的新顶级域名 .ing和.meme
据国外媒体报道,日前Google注册局宣布推出两个富有创意的新顶级域名:.ing和.meme,预计将吸引大量注册。站长网2023-11-01 14:23:46000170%生成式AI初创公司依赖谷歌云基础设施和AI功能
日前,Alphabet在其2023年第二季度财报电话会议强调了生成式人工智能在公司云和产品中带来的效益。首席执行官SundarPichai强调,超过70%的生成式AI初创公司依赖谷歌的云基础设施和AI功能。这表明了新兴公司对下一代技术的吸引力,这些公司希望构建由GoogleBard和其他模型支持的新服务。站长网2023-07-26 11:41:250000AMD AI 业务展望提升,股价仍受挫
划重点:-💼AMD提高MI300人工智能加速器产品的预期收入至40亿美元以上,但股价仍下跌。-💰第一季度净收入为1.23亿美元,符合预期,但股价表现疲弱。-📉尽管数据中心业务增长强劲,但游戏业务收入下降,竞争压力加剧。站长网2024-05-02 22:47:310000