中科大联合封神榜团队发布中文医疗领域大模型ChiMed-GPT
站长网2023-11-20 16:46:150阅
中科大和 IDEA 研究院封神榜团队合作开发了一款名为 ChiMed-GPT 的中文医疗领域大语言模型(LLM)。该模型基于封神榜团队的 Ziya2-13B 模型构建,拥有130亿个参数,并通过全方位的预训练、监督微调和人类反馈强化学习来满足医疗文本处理的需求。

ChiMed-GPT 的训练过程包括三个阶段:预训练、监督式微调和人类反馈强化学习。在预训练阶段,模型使用了2.14亿字的医学百科文档和教科书文章进行继续训练,以扩展医疗领域的知识。在监督式微调阶段,模型利用问答和医患对话数据来提升在真实医疗环境中理解人类指令的能力。在人类反馈强化学习阶段,模型使用拒绝采样技术进行训练,通过奖励模型训练和拒绝采样微调来进一步提高模型性能。
在医疗信息抽取、问答和对话生成等任务上,ChiMed-GPT 的性能优于其他同规模的开源模型,并且在多个指标上超越了 GPT-3.5。在医疗信息抽取任务中,ChiMed-GPT 的性能优于通用和医学领域的开源模型。在问答任务和对话生成任务中,ChiMed-GPT 在多个评估指标上表现出色,展示了其在实际应用中的广泛适用性。
据悉,ChiMed-GPT 的研发对于提升医疗智能的重要性具有重要意义。该模型不仅能够有效处理医疗文本数据,还能生成适合回答患者咨询的内容。
Github:
https://github.com/synlp/ChiMed-GPT
HuggingFace:
https://huggingface.co/SYNLP/ChiMed-GPT-1.0
0000
评论列表
共(0)条相关推荐
视觉Transformer中ReLU替代softmax,DeepMind新招让成本速降
Transformer架构已经在现代机器学习领域得到了广泛的应用。注意力是transformer的一大核心组件,其中包含了一个softmax,作用是产生token的一个概率分布。softmax有较高的成本,因为其会执行指数计算和对序列长度求和,这会使得并行化难以执行。站长网2023-09-20 09:17:0300002023高考作文来了 AI高考作文交卷了 你怎么打分?
6月7日上午,全国各地的语文高考作文题刚刚发布不久,就有网友马上用AI写作技术提交了答卷。例如四川(全国甲卷)的高考作文题是“随着技术的发展,人们更好地掌控了时间,但有些人变成了时间的奴隶。”站长网2023-06-07 19:12:160000我国科考队再次发现史前“海上霸主”化石,比恐龙还早……
再次发现!珠峰地区发现新的喜马拉雅鱼龙化石记者从中国科学院古脊椎动物与古人类研究所获悉,第二次青藏高原综合科学考察的科考人员近日在珠穆朗玛峰地区发现新的喜马拉雅鱼龙化石。新发现将深化细化对这一青藏高原迄今已知的最庞大史前动物的科学认知,有助于该地区中生代生命演进研究。喜马拉雅鱼龙化石及复原图。(中国科学院古脊椎动物与古人类研究所供图)站长网2023-05-24 16:09:100000开源「AI史上最重要闭门会议」 马斯克、小扎等AI大佬密会探讨AI监管
要点:1.舒默参议员主持召开AI闭门峰会,汇集AI领域大佬。2.与会者就AI如何改变生活进行预测,呼吁政府参与AI监管。3.马斯克和小扎支持政府监管AI,但也关注创新。站长网2023-09-15 16:06:360000微软推出 Azure AI 内容安全服务:帮助用户检测和过滤有害的 AI 和用户生成的内容
站长之家(ChinaZ.com)10月19日消息:微软宣布全面推出AzureAIContentSafety内容安全,这是一项新服务,可帮助用户跨应用程序和服务检测和过滤有害的AI和用户生成的内容。该服务包括文本和图像检测功能,可以识别微软所称的「冒犯、风险或不受欢迎」的内容,包括亵渎、成人内容、血腥暴力和某些类型的言论。站长网2023-10-19 10:26:540000