微软推出用于生物医学的多模态

微软的研究人员展示了LLaVA-Med，这是一种用于生物医学的多模式AI助手，可以处理图像和文本。使用生物医学图像文本对应大型数据集来训练多模态AI模型。该数据集包括胸部X光、MRI、组织学、病理学和CT图像等。首先，该模型学习描述此类图像的内容以及重要的生物医学概念。然后，使用GPT-4生成的指令数据集对LLaVA-Med（生物医学的大型语言和视觉助手）进行训练。