Meta推新语言模型Toolformer：通过自主调用工具“击败” GPT-3

Facebook 母公司 Meta 的人工智能研究人员推出了一种新的语言模型Toolformer，旨在处理自然语言处理用例中多个 API的调用。

Toolformer 基于 GPT-J，后者是一种67亿参数的开源语言模型。Meta 的研究人员为该模型配备了一系列工具，它可以自主使用这些工具来完成任务，例如预测文本或回答数学问题。

Toolformer 可以访问的工具包括一个计算器、一个问答系统、两个不同的搜索引擎、一个机器翻译系统和一个日历。

其中，使用的机器翻译系统是其NLLB模型的6亿参数版本，适用于200种语言。Toolformer 使用日历 API，在查询时无需任何输入即可返回当前日期。回答问题系统使用的是 Meta 的Atlas模型。

值得注意的是，其搜索引擎之一是维基百科搜索，它会在出现提示时返回来自维基百科的短文本片段。

上面的示例展示了 Toolformer 的功能。该模型自主决定调用不同的 API 来获取对完成一段文本有用的信息。Meta论文中的这个例子看到该模型利用了一个问答系统、一个计算器、一个机器翻译系统和一个维基百科搜索引擎。

尽管底层模型基于 GPT-2模型，但 Meta 发现 Toolformer 在少数零样本 NLP 任务上可以胜过 GPT-3模型。虽然 GPT-3在问答方面表现更好，但 Toolformer 在大多数其他测试中击败了 OpenAI 模型，包括数学推理和机器翻译。

Toolformer 类似于 OpenAI 的ChatGPT，用户输入自然语言提示，系统生成响应。Toolformer 的不同之处在于，它的各种工具可用于通过搜索引擎功能等工具根据最近发生的事件生成响应。ChatGPT 和其他人是使用的是截止某个时间点数据集构建的，这意味着它们无法响应用户对最近事件的查询。

Meta 的研究人员在他们的论文中承认，Toolformer 比其同时代的 ChatGPT 更不完整，其目前在使用上仍存在局限性”。

关于Toolformer论文介绍网址:https://arxiv.org/abs/2302.04761