Hugging Face发布新开源编程大语言模型StarCoder ：可自动写代码、根据指令改代码

企业工作流公司 ServiceNow 和 ML 工具开发商 Hugging Face 开发了一种用于编码的开源大型语言生成 AI 模型——StarCoder LLM。

这是一个150亿参数的模型，旨在为开放式人工智能研究社区负责任地生成代码。StarCoder 是 ServiceNow 和 Hugging Face 研究人员采用StarCoderBase模型的结果，该模型根据来自 GitHub 的许可数据进行训练，涵盖80多种编程语言，并在350亿个 Python token上对其进行微调。

据称，StarCoder LLM模型优于现有的开放代码生成模型以及封闭模型，例如 OpenAI 的 code-cushman-001，这是为早期版本的GitHub Copilot提供支持的原始Codex模型。

根据 ServiceNow 和 Hugging Face 的说法，该模型拥有超过8，000个token的上下文长度，这意味着它可以处理大量输入，从而“启用各种有趣的应用程序”。

Hugging Face 研究人员在一篇博文中解释说:“例如，通过用一系列对话提示 StarCoder 模型，我们让它们充当技术助手。此外，还可用于自动完成代码、通过指令修改代码以及用自然语言解释代码片段。”

StarCoder 与几个类似的模型进行了比较，包括 Google 的PaLM和LaMDA以及 Meta 的LLaMA。使用包括 HumanEval 在内的多个基准对模型进行了评估。

尽管体积小得多，但研究人员发现 StarCoder 和底层的 StarCoderBase 都优于其竞争对手。

该团队还观察到，通过强制模型生成实际的编码解决方案，它提高了性能得分。据其背后的研究团队称，StarCoder 还在多语言基准测试 MultiPL-E 上进行了测试，并取得了同样令人印象深刻的结果。

StarCoder 在 Hugging Face 宣布其已开发开源版本的 ChatGPT“ Hugging Chat”之后发布的。

StarCoder LLM网址:https://huggingface.co/bigcode/starcoder

存储库:bigcode/Megatron-LM

项目网站:bigcode-project.org

Hugging Chat网址:https://huggingface.co/chat/