Hugging Face发布高度优化的Zephyr-7B迷你语言模型 媲美70亿参数Llama-2
站长网2023-11-30 11:25:431阅
**划重点:**
1. 🌐 Hugging Face基于欧洲初创公司Mistral AI的开源模型Mistral7B,推出了Zephyr-7B迷你语言模型,并通过蒸馏监督微调(dSFT)方法对其进行了精细优化。
2. ⚙️ Zephyr-7B采用了蒸馏直接偏好优化(dDPO)方法,使用一组“教师”模型的输出作为偏好数据,显著缩短了训练时间,降低了所需资源。
3. 🌐在基准测试中,Zephyr-7B略胜Mistral7B,甚至可以媲美具有70亿参数的Llama-2。
在最新的人工智能实践中,Hugging Face推出了经过高度优化的Zephyr-7B迷你语言模型,该模型基于欧洲初创公司Mistral AI的开源模型Mistral7B。通过采用蒸馏监督微调(dSFT)方法,该模型得以精细调整,该方法利用较大的“教师”模型的输出来训练较小的“学生”模型。
与此同时,Zephyr-7B还引入了蒸馏直接偏好优化(dDPO)方法,该方法利用一组教师模型的人工智能反馈作为偏好数据。这一创新性方法显著降低了训练时间,并减少了所需的计算资源。
在基准测试中,Zephyr-7B展现出令人瞩目的性能。相较于Mistral7B,它稍显领先,并且在具有70亿参数的Llama-2模型面前也能媲美一些性能指标。这标志着Hugging Face在迷你语言模型领域的技术进步,为未来的人工智能发展奠定了坚实基础。
模型网址:https://huggingface.co/HuggingFaceH4/zephyr-7b-beta
0001
评论列表
共(0)条相关推荐
AI图片处理工具Object Remover 可快速去除照片中不需要的元素
ObjectRemover是一款强大的图片处理工具,通过移除照片中的不需要的元素,能够迅速优化照片质量,让您的照片更加干净、聚焦和有质感。体验地址:https://objectremover.com/站长网2023-08-09 12:05:430001亚马逊推Agents for Bedrock 除了聊天还能订机票
亚马逊推出了AgentsforBedrock,这是一项能够构建可以自动执行任务的AI应用程序的新功能。AgentsforBedrock面向初创公司和企业,让公司使用自己的数据来训练基础模型,例如图像到文本模型或大型语言模型,然后构建其他应用程序来完成任务。开发人员可以选择使用哪个基础模型,提供一些说明,并选择模型读取哪些数据。站长网2023-07-27 10:53:34000180%代码秒生成!AI神器Copilot大升级,百万开发者动嘴编码5年内成真
【新智元导读】AI编码神器Copilot模型升级,5年80%的代码自动生成,百万码农提速55%。码农AI神器又升级了!就在刚刚,Github官宣,Copilot模型升级,5年内80%的代码将自动生成。GitHubCopilot发布还不到两年,就已经为100多万的开发者,编写了46%的代码,并提高了55%的编码速度。这次升级究竟改进了什么呢?5年,80%代码自动生成站长网2023-07-31 09:12:220000腾讯混元大模型率先通过国家大模型标准测试
在12月22日的全国信息技术标准化技术委员会人工智能分委会全体会议上,腾讯混元大模型率先通过国家大模型标准符合性测试。本次评测由中国电子技术标准化研究院发起,基于32个细分维度,对国内主要的大模型进行测试。认定:腾讯混元大模型符合《人工智能大规模与训练模型第2部分:测评指标与方法》语言大模型的相关技术要求。0001Canalys:2023年第一季度全球智能手机市场下跌12%
今日,市场分析机构Canalys公布数据称,2023年第一季度全球智能市场同比下跌12%,是连续第五个季度出现下跌。其中,三星是头部厂商中唯一实现环比增长的厂商,以22%的市场份额艰难地回到第一。苹果以21%的市场份额回落到第二,受到iPhone14Pro系列稳固需求的推动,第一季度其与三星间的差距在缩小。站长网2023-04-18 08:46:270000