微软宣布开源 DeepSpeedChat:人人都能拥有自己的 ChatGPT
微软日前宣布开源 Deep Speed Chat,(https://github.com/microsoft/DeepSpeed)可帮助用户轻松训练类 ChatGPT 等大语言模型。

据介绍,Deep Speed Chat 基于微软 Deep Speed 深度学习优化库开发,具备训练、强化推理等功能,使用 RLHF(人工反馈机制的强化学习)技术,可将训练速度提升 15 倍以上,并大幅降低成本。例如,一个 130 亿参数的类 ChatGPT 模型,只需 1.25 小时就能完成训练。
Deep Speed Chat 是一款能够解决训练类 ChatGPT 模型的资源和算法难题的技术,它能够轻松、高效的训练数千亿参数的最先进的类 ChatGPT 模型。使用 Deep Speed Chat,用户只需一个脚本即可实现多个训练步骤,包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤,生成属于自己的类 ChatGPT 模型。
此外,Deep Speed Chat 还提供了一个易于使用的推理 API,用于在模型训练后测试对话性能。Deep Speed Chat 具有强化推理、RLHF 模块、RLHF 系统三大核心功能,能够支持训练拥有数千亿参数的模型,并在多节点多 GPU 系统上展现出卓越的扩展性。
Deep Speed Chat 在成本、效率、扩展性等方面非常优秀,在 Azure 云上只需花费不到 300 美元和 600 美元即可完成对 OPT-13B 模型和 OPT-30B 模型的训练。
微软此次开源 Deep Speed Chat 对整个 ChatGPT 生态发展起到了至关重要的推动作用,简单来说,用户通过 Deep Speed Chat 能以最短的时间、最高效的成本训练类 ChatGPT 大语言模型,这标志着一个人手一个 ChatGPT 的时代要来了。
我,用AI帮1000名准妈妈预测婴儿长相,每单卖9.9元
ChatGPT(生成式对话机器人)公测已有8个月,数的上号的国内外科技公司无一例外地在这期间推出了自己的AI大模型。但热闹的另一面,是这些AI大模型的商业化,至今仍处在探索阶段。相较于大公司探索大业务,中国小商家总是能机敏地在技术迭代的过程中,找到做小生意的空间。比如我们曾经观察过的,那些“注册200个账号,卖5万一套的系统,靠ChatGPT赚钱的人”。站长网2023-07-21 16:46:460000谷歌研究人员在 JAX 中引入了一个开源库 用于在球面上进行深度学习
Google研究人员最近推出了一个基于JAX的开源库,旨在解决在球面上进行深度学习的挑战。传统的深度学习模型通常处理平面数据,例如图像,但科学应用中的数据通常是球面数据。这个新库利用了球面卷积和交叉相关操作,以更有效地处理球面数据。站长网2023-10-11 16:46:230000杀入比亚迪主战场!小鹏将推全新子品牌:主打10-15万级
快科技3月16日消息,中国电动汽车百人会论坛(2024)今日在北京召开,不少业界大佬纷纷登台分享,小鹏汽车董事长何小鹏在论坛上宣布了一项重磅的决定,也就是小鹏将要发布全新子品牌,主打10-15万级全球市场。何小鹏表示:新品牌终于到了可以对外分享的阶段了。站长网2024-03-17 17:42:020000MagicGPT即将到来?荣耀持续发力AI大模型行业
凤凰网科技讯9月4日,据天眼查App显示,近日,荣耀终端有限公司申请两枚“MagicGPT”商标,国际分类为网站服务、科学仪器,当前商标状态均为申请中。图源天眼查值得一提的是,不久前,该公司已申请科学仪器类“MagicAI”商标,当前商标状态也为申请中。图源天眼查站长网2023-09-04 21:39:490000美团入股大模型公司智谱AI
天眼查App显示,近日,中文认知大模型平台智谱AI关联公司北京智谱华章科技有限公司发生工商变更,股东新增美团旗下天津三快科技有限公司,注册资本由约1480.69万人民币增至约1652.86万人民币。站长网2023-07-19 20:14:400000