微软推出用于生物医学的多模态 AI 助手

微软的研究人员展示了 LLaVA-Med，这是一种用于生物医学的多模式 AI 助手，可以处理图像和文本。

使用生物医学图像文本对应大型数据集来训练多模态 AI 模型。该数据集包括胸部 X 光、MRI、组织学、病理学和 CT 图像等。首先，该模型学习描述此类图像的内容以及重要的生物医学概念。然后，使用GPT-4生成的指令数据集对 LLaVA-Med（生物医学的大型语言和视觉助手）进行训练。

该数据集由 GPT-4基于生物医学文本创建，其中包含有关每个图像的所有信息，可用于生成有关图像的问答。微调，然后在图像和相应的 GPT-4示例上训练 LLaVA-Med。结果是一个可以用自然语言回答有关生物医学图像的问题的助手。

使用的训练方法允许 LLaVA-Med 在不到15小时的时间内在八个 Nvidia A100GPU 上进行训练。它基于Vision Transformer和Vicuna语言模型，后者又基于 Meta 的LLaMA。据该团队称，该模型具有“出色的多模式对话能力”。在用于回答视觉问题的三个标准生物医学数据集上，LLaVA-Med 在某些指标上优于之前的最先进模型。

LLaVA-Med 等多模式助手有朝一日可以用于各种生物医学应用，例如医学研究、复杂生物医学图像的解释以及医疗保健中的对话支持。

研究团队表示:“虽然我们认为 LLaVA-Med 代表了朝着构建有用的生物医学视觉助手迈出的重要一步，但我们注意到 LLaVA-Med 受到许多 LMM 常见的幻觉和弱深度推理的限制未来的工作将侧重于提高质量和可靠性。”。