Vicuna Makers打造小型AI模型Llama-rephraser,130亿参数、性能媲美GPT-4
**划重点:**
1. 🌐 Vicuna Makers的研究团队成功构建了一个只有130亿参数的小型语言模型(LLM),在性能上与OpenAI的GPT-4相媲美。
2. 🔄 利用新工具LLM Decontaminator,研究人员通过改写测试集,使得LLM能够在主要基准测试中达到GPT-4的性能水平。
3. 🌟 Llama-rephraser的研发不仅在性能上取得突破,而且通过挑战对语言模型中数据污染的理解,为业务提供了性能与成本平衡的可能性。
Vicuna Makers的研究团队在构建Vicuna语言模型的基础上,成功推出了一款新型的小型人工智能模型(LLM),该模型在性能上与OpenAI的GPT-4相媲美,仅包含130亿个参数。
这一新模型被命名为Llama-rephraser,由LMSYS Org揭示。尽管规模相对较小,但该模型在主要基准测试中达到了GPT-4的性能水平。这一成就的关键在于团队采用了一种独特的方法:通过改写测试集,即对测试样本进行释义,使模型能够进行泛化并实现高性能。
通过在数据集中改变句子,Llama-rephraser不仅帮助模型记住文本,更能理解其含义。通过用变化的短语提示模型,研究团队验证了模型是否真正理解了材料。结果表明,Llama-rephraser能够返回正确的响应。
这一创新性的方法让这个拥有130亿参数的Llama-rephraser在基准测试中取得了GPT-4级别的成绩,包括涵盖基本数学、计算机科学、法律等多个领域的流行MMLU基准测试,以及人工评估模型代码生成的HumanEval基准测试。
这一研究的最大成就之一是挑战了对语言模型中数据污染的理解。数据污染指的是测试集的信息泄漏到训练集中,可能导致对模型性能的过于乐观的估计,尤其是对于一个只有130亿参数的模型能够达到GPT-4的成果。
在构建Llama-rephraser的研究过程中,他们发现类似CodeAlpaca的GPT生成的合成数据可能导致微妙的污染,这是难以检测的。为了解决这个问题,他们引入了一个名为LLM Decontaminator的新工具,用于量化数据集的释义样本与基准的对比,使开发人员能够估计数据集中释义样本的污染程度,并将其删除。
对于企业而言,这意味着在采用人工智能解决方案时,有必要使模型规模更小,以保持运营成本的低廉。像Llama-rephraser这样性能媲美GPT-4的小型模型的出现,有助于企业在性能和成本之间取得平衡。此外,LLM Decontaminator这样的工具还可以帮助企业完善其现有系统,使当前一代模型得以改进,而无需在开发成本上投入大量资金构建全新的模型。
LMSYS Org在博客文章中呼吁社区重新思考在大型语言模型背景下的基准测试和数据污染,并在对大型语言模型进行公共基准测试时采用更强大的去污染工具。
自2017年以来,印度采用人工智能技术组织的数量增长2.5倍
本文概要:1.印度组织采用人工智能技术的数量增加了2.5倍。2.人工智能在教育、健康、金融、制造等领域广泛应用。3.印度政府计划制定全球法律规范人工智能技术。根据印度国家电子和信息技术部长的回答,自2017年以来,印度采用人工智能技术的组织数量增长了2.5倍。站长网2023-08-14 10:50:330000欧盟通过世界首部人工智能法案 开创全球监管先河
近日,欧洲议会以523票赞成通过《人工智能法案》,这是全球首部具有约束力的人工智能法规。该法案将在24个月内全面生效,预计将成为其他国家和地区参考的重要蓝本。根据法案规定,《人工智能法案》禁止威胁公民权利的特定人工智能应用,包括生物识别分类系统、工作场所和学校的情绪识别设备、基于人工智能的社会评分系统、基于个人分析或评估其特征的预测性警务实践,以及任何操纵人类行为或利用某人弱点的人工智能。站长网2024-03-14 10:23:170000首发澎湃OS!小米14已开启线下盲订:首销当日取货
快科技10月17日消息,今天上午小米重磅宣布全新系统XiaomiHyperOS(澎湃OS)。同时雷军还透露,小米14将会是首款搭载澎湃OS的手机。据部分网友反馈,目前个别地区的线下店已经开启了小米14系列的盲订,交100元定金即可参与,宣传称可以在首销日当天取货,抢先拿到现货,发布会后若不合适支持无条件全额退定金。站长网2023-10-18 21:18:040003击败Llama 2,抗衡GPT-3.5,Stability AI新模型登顶开源大模型排行榜
一眨眼,开源大模型又进步了。谷歌、OpenAI真的没有护城河?「我就午休了30分,我们的领域又变了?」在看到最新的开源大模型排行榜后,一位AI领域的创业者发出了灵魂追问。排行榜链接:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard站长网2023-07-23 14:23:060000AMD 的 AI 芯片转单给三星可能性不大 与台积电已合作至 2nm 制程
站长之家(ChinaZ.com)7月18日消息:据DIGITIMES消息,英伟达AIGPU出货逐季飙升,接下来AMDMI300系列将在第4季底量产。站长网2023-07-18 17:22:550000