Prismer

prismer是一种视觉语言模型的实现，旨在提供一个具有专家集合的系统。该系统基于PyTorch1.13开发，使用了Huggingface的加速工具包，支持多节点多GPU的训练。它可以进行图像描述和视觉问答等任务，并且在预训练和微调方面都取得了良好的性能。通过继承来自公开的、预先训练的领域专家的大部分网络权重并在训练期间冻结它们，Prismer只需要训练几个组件。