登陆注册

Face发布高度优化的Zephyr

  • Hugging Face发布高度优化的Zephyr-7B迷你语言模型 媲美70亿参数Llama-2

    **划重点:**1.🌐HuggingFace基于欧洲初创公司MistralAI的开源模型Mistral7B,推出了Zephyr-7B迷你语言模型,并通过蒸馏监督微调(dSFT)方法对其进行了精细优化。2.⚙️Zephyr-7B采用了蒸馏直接偏好优化(dDPO)方法,使用一组“教师”模型的输出作为偏好数据,显著缩短了训练时间,降低了所需资源。
    站长网2023-11-30 11:25:43
    0001