这款“克隆版”ChatGPT开发成本仅需30美元,还开源了!
站长之家(ChinaZ.com)3月29日 消息:前不久,斯坦福科学家仅用600美元就克隆了OpenAI的ChatGPT的报道引发了不少关注,现在有开发团队仅用30美元成本就开发出了似于 ChatGPT 的聊天机器人。这是怎么做到的呢?(相关文章阅读《意不意外!斯坦福科学家仅用600美元就克隆了OpenAI的ChatGPT》)
开发成本仅为30美元
全球领先的Data AI企业Databricks推出了一款类似于 ChatGPT 的聊天机器人 Dolly(多利),其使用更旧、更小的语言模型创建,开发成本仅为30美元。
Dolly 以世界上第一只克隆哺乳动物绵羊命名,与 ChatGPT 有关键区别。它的代码不仅可以免费公开获取,而且 Dolly 是在一个只有60亿个参数的小得多的语言模型上接受训练的。对比下GPT-3有1750亿个参数(ChatGPT 在 GPT-3.5上进行了微调)。Dolly 还仅使用八个 Nvidia A10040GB GPU 进行了训练,而 ChatGPT 则使用了10,000个。
该团队表示,“我们认为这一发现很重要,因为它表明创造强大的人工智能技术的能力比以前意识到的要容易得多。”
Dolly 基于由 Databricks 开发的因果语言模型,该模型源自 EleutherAI 已有两年历史的 GPT-J 语言模型。根据这家数据软件公司的博客,它对大约52,000条由问答对组成的记录进行了微调,以生成头脑风暴、文本生成和“原始模型中不存在”的开放式问答等指令遵循功能。
“令人惊讶的是,指令跟踪似乎并不需要最新或最大的模型,”其研究人员说。
这52,000条记录来自斯坦福大学的聊天机器人 Alpaca(羊驼),它在 Meta 的 LLaMA 大型语言模型 (LLM) 上进行了训练,开发成本不到600美元。Alpaca 也展示了类似 ChatGPT 的输出能力,但演示在发布后不久就因产生“幻觉”而关闭。
输出质量与ChatGPT相似
Databricks 的团队表示,根据 ChatGPT 所基于的 InstructGPT 论文中的指令跟踪能力评估,Dolly 的输出质量与 ChatGPT 的输出质量相似。
该团队写道:“这表明,ChatGPT等最先进模型中的大部分定性收益可能是由于集中的指令跟踪训练数据,而不是更大或更好调整的基础模型。”
Databricks 表示,由于斯坦福大学的 Alpaca 基于 Meta 最先进的 LLaMA,它预计在质量输出方面“更胜一筹”,而 Dolly 是基于免费的、较旧的开源模型。
至于Dolly的缺陷方面,该团队表示,聊天机器人“在句法复杂的提示、数学运算、事实错误、日期和时间、开放式问题回答、幻觉、列举特定长度的列表和文体模仿方面很不理想。”
这些注意事项在 Dolly 的 GitHub 页面上公开,如果其他人想开发自己的聊天机器人,可以使用该页面的代码。
(项目网址:https://github.com/databrickslabs/dolly)
“我们相信 Dolly 的底层技术为那些希望以低廉的成本构建自己的指令遵循模型的公司提供了一个令人兴奋的新机会,”该团队表示。此外,公司可能会更愿意将专有数据输入他们自己的聊天机器人,而不是将其提供给像 ChatGPT 这样的公共聊天机器人。
汇聚侨力量,筑梦四海心,厦门国际银行荣获中国侨联短视频大赛三等奖
日前,中国侨联“追梦中华·奋进新征程”华侨华人短视频评选活动落下帷幕,在颁奖仪式上,厦门国际银行选送作品《汇聚侨力量,筑梦四海心》荣获三等奖。厦门国际银行党委副书记、行长曹云川出席仪式并担任颁奖嘉宾,总行华侨金融部总经理黄明生作为获奖代表上台领奖。站长网2023-03-06 21:36:410001特朗普“被捕”图像在网上疯传 AI生成的虚假照片太真实了
近日,互联网上不断传播着美国前总统唐纳德特朗普被捕画面的照片,而实际上这些照片都是AI生成,并非真实发生的事情。3月18日,特朗普在社交媒体上表示,自己将在当地时间21日被逮捕,并多次呼吁其支持者举行大规模抗议。不过,直到目前都没有迹象表明特朗普是否会被起诉。站长网2023-03-22 15:58:300002扎根语音直播赛道7年,他说“这个行业十年内还有红利”
“语音直播已经火了很多年了。”谈及当下越来越多平台布局语音直播、推出众多利好政策,L表示这并非新赛道。L是一家语音公会的公会长,扎根语音直播赛道已有7年之久。2016年,他成为一名语音主播;2018年,他创建了自己的公会;2019年;他组建了线下工作室;2020年,他来到抖音,并很快成为头部语音公会,如今公会规模超1万人、月流水达到3000万。站长网2023-03-22 08:53:210004微软高管:谷歌的 Bard 与 Bing Chat 相比「远远落后」
谷歌终于在本周早些时候推出了其Bard聊天机器人的公开预览版。然而,微软的BingChat已经可以公开测试了几周。那么,微软对这种新的竞争有什么看法呢?日前微软公司广告和网络服务主管MikhailParakhin在推特上被一位用户问及他对Bard的看法,以及他是否同意其他人的看法,即他们「对其性能与必应人工智能相比如此之低感到震惊?」站长网2023-03-24 10:16:4900002023年第一季度全球PC出货量下降三分之一 苹果最惨
在疫情的头两年出现强劲增长后,全球PC出货量连续第四个季度下降。分析公司IDC的最新数据显示,第一季度比去年同期下降了29%。Canalys的数据则暂时,一季度整整下降了33%。经销商库存持续积累,预计至少到第三季度才能恢复正常。站长网2023-04-11 13:40:260000