AI框架LoraHub：将LoRA 模块像乐高一样组合

LoraHub 是一个 AI 框架，用于自动组合 LoRA 模块，以实现对新任务的适应性性能。

它可以根据之前未识别任务的少量样本，自动组织合适的 LoRA 模块，并通过 LoRA 学习的方式进行训练。LoraHub 具有高性能和灵活性，可以在只有 CPU 的计算机上运行，并通过减少推理成本提高效率。它为用户提供了一个共享、访问和应用训练过的 LoRA 模块的平台，为 NLP 任务的开发和应用提供了便利。

项目地址:https://github.com/sail-sg/lorahub

LoraHub 的核心功能是通过 LoRA 的模块化和可组合性，在不需要人工干预或专业知识的情况下，自动组合合适的 LoRA 模块。该方法可以利用仅有的几个样本自动组织适用于新任务的 LoRA 模块。与传统的假设特定任务的训练不同，LoraHub 可以集成满足要求的所有 LoRA 模块。这种学习技术称为 LoraHub 学习，因为它利用了现有的多个 LoRA 模块。

该方法通过在行业标准的 BBH 基准和 Flan-T5作为底层 LLM 的基础上进行评估。结果表明，少样本的 LoraHub 学习过程可以组合适用于新任务的 LoRA 模块，并且与少样本、上下文学习相比，取得了接近的结果。与上下文学习相比，LoraHub 学习不需要将实例作为 LLM 的输入，从而大大降低了推理成本。该学习技术采用无梯度方法生成 LoRA 模块的系数，并且仅需要少量推理步骤。使用单个 A100，在不到一分钟的时间内，该方法可以在 BBH 上实现顶级性能。

LoraHub 的学习只需要了解如何处理 LLM 推理，因此可以在只有 CPU 的计算机上进行。这种灵活性和高性能的工作方式为创建一个易于共享、访问和应用于新任务的训练过的 LoRA 模块的平台铺平了道路。研究团队希望这样的系统可以建立一个具有各种功能的可重复使用的 LoRA 模块库。该团队正在努力动态组合 LoRA 节点，以提高 LLM 的能力。