LLM不靠谱!研究:AI聊天机器人提供了错误的癌症治疗建议
文章概要:
1. 研究人员评估了大语言模型聊天机器人提供癌症治疗建议的可靠性,发现33.33%的建议与确立的指南不完全一致。
2. 研究强调了AI技术渗透医疗决策时需谨慎和监管的必要性。
3. 聊天机器人的建议与NCCN指南不完全一致,专家也未能检测到这些错误,凸显LLM聊天机器人在提供可靠和精确的癌症治疗建议方面的表现低于平均水平。
在最近发表在 《JAMA Oncology》杂志上的一篇文章中,研究人员评估了由人工智能 (AI) 算法驱动的大型语言模型 (LLM) 驱动的聊天机器人是否可以提供准确可靠的癌症治疗建议。
关于该研究
在本研究中,研究人员评估了大语言模型聊天机器人在提供前列腺癌、肺癌和乳腺癌治疗建议方面的表现,该建议与国家综合癌症网络 (NCCN) 指南一致。
研究人员开发了四个零样本提示模板,并用于创建26种癌症诊断描述的四个变体,最终获得了104个提示。然后将这些提示作为输入提供给GPT-3.5。
研究团队由四名经过委员会认证的肿瘤学家组成,其中三人根据研究人员制定的五项评分标准评估了聊天机器人输出与2021年 NCCN 指南的一致性。采用多数决原则来确定最终得分。
第四位肿瘤学家帮助其他三位解决了分歧,这些分歧主要是在法学硕士聊天机器人输出不清楚时出现的。例如,大语言模型没有具体说明针对特定类型的癌症应结合哪些治疗方法。
研究结果
该研究对聊天机器人提供的104条癌症治疗建议进行了评估。结果显示33.3%的建议至少部分不符合NCCN指南,被视为错误或不准确的。
聊天机器人对98%的提示给出了至少一个治疗建议。所有包含治疗建议的回复中,至少有一个治疗方法与NCCN指南一致。
但是在102条产出中,有35条包含一个或多个不一致的治疗方法,占34.6%。这意味着超过三分之一的建议包含了错误信息。
聊天机器人提供的建议根据提问方式而变化。当提问不明确时,它的回复也变得模糊,导致评估者之间出现分歧。
本研究中评估的大语言模型士聊天机器人将错误的癌症治疗建议与正确的建议混合在一起,即使是专家也未能发现这些错误。
研究结果表明,大语言模型聊天机器人在提供可靠且精确的癌症治疗建议方面表现低于平均水平。
鉴于AI的广泛使用,医疗保健提供者需要适当教育病人有关这项技术可能提供的错误信息的潜在风险。这些发现还强调了针对AI及其他潜在危害公众的技术制定联邦法规的重要性。
AI前哨|“AI翻车事故”十年暴涨15倍 这三巨头成为“罪魁祸首”
凤凰网科技讯《AI前哨》北京时间6月29日消息,网络安全公司Surfshark发布的报告显示,随着人工智能(AI)的快速发展,AI的“翻车事故”(AIincident)数量在十年时间内(按阶段)增长了15倍,三家主要AI公司占据了其中的四分之一。站长网2023-06-29 15:45:540001美妆占领短剧,抖音淘宝必有一战
去年年初,喜欢看短剧的90后女生芊芊留意到,除了向用户收费,短剧同时在赚品牌们的钱:短剧中的品牌植入越来越多了。美妆护肤品牌,更成了短剧植入的常客。随着剧情推进,霸总的宠妻礼物是韩束红蛮腰礼盒,小姨送给初入职场的女主,第一份礼就是珀莱雅双抗精华,女主的设定成了丸美集团千金……韩束、丸美、珀莱雅、谷雨等越来越多国产美妆品牌开始试水短剧营销。0000Youtube transcript:超好用的YouTube 转录工具
YouTube转录工具是一个免费的在线工具,可将YouTube视频转化为准确的文字转录和字幕。无论您是学生、研究人员、内容创作者还是SEO专业人员,都可以轻松生成准确的转录和字幕。官网地址:https://www.transcriptdownload.com/核心功能:1.获取和复制YouTube转录:通过一键操作,快速获取并复制YouTube视频的转录文本。站长网2023-07-25 16:18:40000017万网友围观!中国首例“AI文生图”著作权案庭审直播,AIGC构成作品吗?
“我的画被偷了!”许多内容创作者遇到过的侵权问题,如今也出现在AIGC领域。8月24日,北京互联网法院依法公开开庭审理了一起“AI文生图”著作权案。本案原告李某利用AI绘图模型StableDiffusion,通过输入提示词的方式,生成了一张人物图片,于今年2月底发布在其小红书账号。站长网2023-09-04 18:04:260001抖音货架到底值不值得做?服务商:我们准备放弃了......
为了货架电商,抖音投入百亿扶持,将其当做最重要的运营方向。但某入局了货架电商的服务商,却说“要放弃了”。近期,某抖音服务商跟新播场分享了他们做抖音货架电商的经历。他表示,综合来看,无论是现在被鼓吹的商品卡,还是行业讨论了很久的商城,对于他们而言很难有增长效果。实际上,如今行业内不看好抖音货架电商的还大有人在,问题大多围绕在价格内卷、会让兴趣电商失去竞争力等。站长网2023-07-06 22:09:460002