登陆注册
19325

开源小型语言模型MobiLlama 手机可运行训练

站长网2024-02-28 11:09:042

MobiLlama是一个开源的小型语言模型,专门针对移动设备运行训练的LLM,拥有5亿个参数。该模型的设计旨在满足资源设定计算的需求,同时注重在提高性能的同时降低资源消耗。

项目地址:https://top.aibase.com/tool/mobillama

MobiLlama是从一个更大的模型出发设计的,通过提出的训练设计的参数共享机制来降低预配置和部署的成本。这项工作的目标不仅是填补小型开源语言模型的空白,还要确保全面透明。这包括提供完整的训练数据流程、训练代码、模型权限重以及超过300个检查点。

想要体验MobiLlama,用户可以按照操作系统的指示下载预处理的Amber数据,并从源码安装。对于训练和微调,建议用户通过源码安装,以利用MobiLlama在20个A10080GB GPU节点上的性能。

这个0.5B大小的开源模型为移动设备提供了一个精确且完全透明的选择。如果用户需要一个小型语言模型来运行在资源中受在有限的环境中,MobiLlama 可能是一个非常有用的选择。

0002
评论列表
共(0)条