微软推出用于生物医学的多模态 AI 助手
站长网2023-06-15 09:55:321阅
微软的研究人员展示了 LLaVA-Med,这是一种用于生物医学的多模式 AI 助手,可以处理图像和文本。
使用生物医学图像文本对应大型数据集来训练多模态 AI 模型。该数据集包括胸部 X 光、MRI、组织学、病理学和 CT 图像等。首先,该模型学习描述此类图像的内容以及重要的生物医学概念。然后,使用GPT-4生成的指令数据集对 LLaVA-Med(生物医学的大型语言和视觉助手)进行训练。
该数据集由 GPT-4基于生物医学文本创建,其中包含有关每个图像的所有信息,可用于生成有关图像的问答。微调,然后在图像和相应的 GPT-4示例上训练 LLaVA-Med。结果是一个可以用自然语言回答有关生物医学图像的问题的助手。
使用的训练方法允许 LLaVA-Med 在不到15小时的时间内在八个 Nvidia A100GPU 上进行训练。它基于Vision Transformer和Vicuna语言模型,后者又基于 Meta 的LLaMA。据该团队称,该模型具有“出色的多模式对话能力”。在用于回答视觉问题的三个标准生物医学数据集上,LLaVA-Med 在某些指标上优于之前的最先进模型。
LLaVA-Med 等多模式助手有朝一日可以用于各种生物医学应用,例如医学研究、复杂生物医学图像的解释以及医疗保健中的对话支持。
研究团队表示:“虽然我们认为 LLaVA-Med 代表了朝着构建有用的生物医学视觉助手迈出的重要一步,但我们注意到 LLaVA-Med 受到许多 LMM 常见的幻觉和弱深度推理的限制未来的工作将侧重于提高质量和可靠性。”。
0001
评论列表
共(0)条相关推荐
AI在线PPT生成工具——AiPPT:输入主题即可一键生成高质量PPT
AiPPT是一款基于人工智能和自然语言处理技术的在线PPT生成工具,用户只需输入主题即可一键生成高质量PPT。该工具支持多种文档格式上传生成,内置上千套定制级模板,支持自由灵活的编辑能力。用户可以随意调整PPT幻灯片的页面、形状、字体、颜色、大小等细节,都能自由编辑。体验地址:https://www.aippt.cn/站长网2023-09-04 14:28:370000WPP 首席执行官:人工智能在广告中的应用是「机遇」而非威胁
WPP首席执行官MarkRead表示,与一些评论家的担忧相反,人工智能是「优化创意业务的重大机遇」,而不是威胁。他在接受FinancialTimes采访时透露,这家广告巨头已经利用人工智能和自动化工具「放大」其创意作品数年。他还补充说,最成功的创意团队也采用这种方法,将人工智能作为其广告活动中使用的工具。站长网2023-05-12 20:29:100000逼真复刻「完美中国情侣」!加强版Stable Diffusion免费体验,最新技术报告出炉
就在刚刚,号称是「开源版Midjourney」的StableDiffusionXL0.9的技术报告,新鲜出炉。「加强版」StableDiffusion最新技术报告出炉了!报告地址:https://github.com/Stability-AI/generative-models/blob/main/assets/sdxl_report.pdf站长网2023-07-06 14:58:50000290%的人都做不好自媒体!
各位村民好,我是村长都觉得自媒体很赚钱,网上的确也有很多成功的案例。但为什么别人都赚到钱了,而你去做的时候,却很难呢?今天我要和大家一起去刨析下最底层的原因,为什么多数普通人做不好抖音。01没有网感什么叫网感?很多人不清楚。所谓的网感直白一点就是对网络的感觉,具体包含了两个方面:其一是网络的状态,就是不管你写文章还是拍视频,让人感觉到你很适合,文风、镜头、表情等等。0000Adobe 收购印度人工智能视频初创公司 Rephrase.ai
划重点:🌟Adobe系统扩展生成式人工智能能力,报告收购印度初创公司Rephrase.ai。🎥Rephrase.ai简化视频制作,通过文本转换为专业视频,定位介于Photoshop和PremierePro之间。💰印度人工智能初创生态系统势头强劲,Rephrase.ai的成功故事使Adobe在这一新兴市场占据有利地位。站长网2023-11-23 10:21:420000