登陆注册
20103

MedChatZH:一款专为传统中医会诊设计的调校LLM模型

站长网2024-03-19 17:53:371

划重点:

⭐️ MedChatZH 是一个专门针对传统中医对话优化的 AI 系统,在中医会诊中表现出色。

⭐️ 通过收集大量中医文献构建了一个预训练语料库,并创建了一个结合一般对话和医学对话的高质量数据集。

⭐️ MedChatZH 在真实世界的中医问答基准数据集上表现优越,超越了其他基线模型。

Generative Large Language Models (LLMs) 在各种自然语言处理任务中取得了显著成功,包括问答和对话系统。然而,大多数模型是在英文数据上训练的,缺乏在提供中文答案方面的强大泛化能力。

为了解决这一问题,研究团队推出MedChatZH,这是一个专为中医问答优化的对话模型,基于 LLaMA 架构的 transformer 解码器。通过在精心筛选的医学指导数据集上进行微调,MedChatZH 在真实世界的医学对话数据集上显著优于几个中文对话基线模型。我们的模型、代码和数据集都在 GitHub 上公开可用,以鼓励进一步在传统中医和 LLMs 领域的研究和发展。

目前,大型语言模型在各种下游自然语言处理任务中表现出色,其中包括机器翻译和实体识别。在2023年,OpenAI 推出了 ChatGPT 系列生成式对话模型,在学术和工业领域引起了重大反响,显著推动了自然语言技术领域的发展。然而,大多数语言模型,包括 ChatGPT,主要是在英文数据集上训练和微调的。当应用于其他语言(如中文)时,由于词汇不匹配、语料上下文和回答习惯的差异,它们往往遇到限制,导致响应质量和泛化能力下降。此外,在通用语言模型中缺乏特定领域理解的问题在专业领域中尤为突出,如传统中医会诊。即使是像 ChatGPT 这样的模型在这一任务中也会遇到困难,原因有:医学领域中严格的道德和审查约束,导致拒绝提供医疗建议;中医训练数据的缺乏,导致对中医相关查询的理解不足。

为了解决 LLMs 在中文应用场景中的领域适应挑战,研究人员提出了一组新的基础模型,包括 Chinese-LLaMA 和 BLOOM,这些模型扩展并在中文词汇上进行训练,以及 GLM 等双语模型。然而,将通用语言模型直接应用于专业领域仍未达到期望的性能水平。与丰富多样的英文语料相比,中文语料往往被隔离在各种商业软件中,不易公开获取,或者在互联网上受到质量不佳和缺乏同行审查的困扰。这导致中文预训练语料和下游任务数据的稀缺,是训练通用中文 LLMs 的主要障碍。将通用语言模型应用于中文特定垂直领域的挑战更为突出,如中医会诊对话。即使是 ChatGPT 等模型在这一任务中也面临困难,原因有:医学领域中严格的道德和审查约束,通常导致拒绝提供医疗建议;中医训练数据的缺乏,导致对中医相关查询的理解不足。

为了解决中医 QA 领域的研究空白,增强对话能力,本文介绍了一个专门为中医患者对话优化的生成式 LLM,MedChatZH。首先在大量的中医文献上进行训练,使其获得了传统中医知识的全面可靠基础。然后在一个高质量的数据集上进行微调,该数据集结合了医学和一般对话,经过启发式和基于模型的过滤等复杂数据处理步骤,以去除不相关或敏感内容,例如个人信息和口语回复。MedChatZH 的表现在真实世界的中医问答基准数据集上得到了测试,评估指标涵盖了传统和基于奖励的模型评分。结果表明,MedChatZH 在中医对话 LLMs(如 BenTsao(原名:HuaTuo)和 HuatuoGPT)上表现优异。

论文的主要贡献如下:

1. 提出了 MedChatZH,一个专门针对传统中医会诊对话设计的生成式 AI 系统,表现良好。

2. 收集和整理了大量中医文献,构建了一个预训练语料库,并构建了一个结合一般对话和医学对话的高质量数据集。通过启发式和奖励评估,过滤掉敏感信息和质量低下的口语回复。

3. 在真实世界的中医问答基准数据集上评估了 MedChatZH 的性能,展示了其在多个评估指标上优于其他基线模型。

MedChatZH 在管理传统中医对话的独特复杂性方面表现出色,这可以归因于它在大量中医文献上的广泛预训练,以及在结合医学和一般对话的数据集上进行微调。MedChatZH 的有效性有望为特定于不同语言和文化背景的 LLMs 开辟新途径。

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0010482524003743?dgcid=rss_sd_all

0001
评论列表
共(0)条