登陆注册

支持多节点训练

  • Prismer: 一个专家集合的视觉语言模型 支持多节点训练

    prismer是一种视觉语言模型的实现,旨在提供一个具有专家集合的系统。该系统基于PyTorch1.13开发,使用了Huggingface的加速工具包,支持多节点多GPU的训练。它可以进行图像描述和视觉问答等任务,并且在预训练和微调方面都取得了良好的性能。通过继承来自公开的、预先训练的领域专家的大部分网络权重并在训练期间冻结它们,Prismer只需要训练几个组件。
    站长网2023-07-25 15:51:46
    0000