登陆注册

AI开源650亿参数大模型预训练方案

  • 潞晨科技旗下Colossal-AI开源650亿参数大模型预训练方案

    AI创业公司潞晨科技宣布,旗下Colossal-AI首个开源了650亿参数LLaMA低成本预训练方案。据介绍,相比业界其他主流选择,该预训练方案可提升预训练速度38%,仅需32张A100/A800即可使用,并且不限制商业使用。开源地址:https://github.com/hpcaitech/ColossalAI
    站长网2023-07-20 15:26:49
    0000