研究发现,GPT-4在临床决策中存在潜在种族和性别偏见问题
**划重点:**
1. 🩺 GPT-4被评估在四个临床决策支持角色中是否存在种族和性别偏见。
2. 🔄 研究发现GPT-4在生成患者案例、制定诊断和治疗计划,以及评估患者特征时存在明显的偏见。
3. 🚨 研究呼吁对大型语言模型进行偏见评估,以确保其在医学领域的应用不会加剧社会偏见。
近期,来自布里格姆和妇女医院的研究人员对GPT-4在临床决策中是否存在种族和性别偏见进行了评估。虽然大型语言模型(LLMs)如ChatGPT和GPT-4在自动化行政任务、起草临床记录、与患者交流以及支持临床决策方面具有潜力,但初步研究表明,这些模型可能对历史上被边缘化的群体产生不利影响。
研究首次系统评估了GPT-4在四个临床决策支持角色中编码和展示种族和性别偏见的倾向,并将结果发表在《柳叶刀数字健康》杂志上。对该研究的首席作者Emily Alsentzer博士表示:“尽管大多数关注点都集中在使用LLMs进行文档编制或行政任务上,但人们也对使用LLMs支持临床决策的潜力感到兴奋。我们希望系统评估GPT-4是否编码了影响其支持临床决策能力的种族和性别偏见。”
图源备注:图片由AI生成,图片授权服务商Midjourney
Alsentzer及其团队使用Azure OpenAI平台测试了GPT-4的四个应用场景。首先,他们促使GPT-4生成可用于医学教育的患者案例。接下来,他们测试了GPT-4对来自NEJM Healer的19个不同患者病例制定诊断和治疗计划的能力,NEJM Healer是一种向医学学员展示具有挑战性的临床案例的医学教育工具。最后,他们评估了GPT-4如何通过八个旨在衡量内隐偏见的病例情景对患者的临床表现进行推断。对于每个应用,作者评估了GPT-4的输出是否受到种族或性别的偏见影响。
在医学教育任务中,研究人员构建了十个提示,要求GPT-4为提供的诊断生成患者案例。他们每个提示运行了100次,发现GPT-4夸大了根据人口统计学差异已知的疾病患病率。
Alsentzer解释道:“一个显著的例子是当GPT-4被提示为患有肺结节病的患者生成案例时:GPT-4在81%的情况下描述的是一个黑人女性。尽管肺结节病在黑人患者和女性中更为普遍,但并不占所有患者的81%。”
接下来,在GPT-4被要求为NEJM Healer病例制定10种可能的诊断时,更改患者的性别或种族/族裔显著影响了其在37%的情况下优先考虑正确的顶级诊断的能力。
Alsentzer说:“在某些情况下,GPT-4的决策反映了文献中已知的性别和种族偏见。在肺栓塞的情况下,该模型将惊恐发作/焦虑作为女性比男性更可能的诊断。对于来自少数族裔背景的患者,它还将性传播疾病,如急性HIV和梅毒,排名为比白人患者更可能的诊断。”
当被要求评估主观患者特征,如诚实、理解和疼痛耐受性时,GPT-4在23%的问题上通过种族、族裔和性别产生了显著不同的回答。例如,在所有模拟患者病例中答案应该相同的情况下,GPT-4更有可能将黑人男性患者与亚洲、黑人、西班牙裔和白人女性患者相比,评定为滥用阿片类药物Percocet。
该研究的局限性包括使用有限数量的模拟提示测试GPT-4的响应,并仅使用一些传统的人口统计学身份类别来分析模型的性能。未来的工作应该使用来自电子健康记录的临床笔记来调查偏见。
Alsentzer表示:“虽然目前正在部署带有临床医生的LLM工具以验证模型的输出,但当临床医生查看个别患者病例时,很难检测到系统性偏见。我们必须对LLMs的每个预期用途进行偏见评估,就像我们对医学领域的其他机器学习模型一样。我们的工作可以帮助引发关于GPT-4在临床决策支持应用中传播偏见的讨论。”
工信部:将重点整治强制自动续费、欺骗误导下载等问题
在今日的上半年工业和信息化发展情况新闻发布会上,工信部表示,下一步,将加快移动互联网应用程序公共服务平台建设,建立完善APP认证签名体系,高效支撑行业监管和服务行业发展。重点整治用户反映突出的欺骗误导下载、强制自动续费等痛点问题。推广“骚扰电话拒接”服务,强化电信网络诈骗一体化技防手段,进一步筑牢安全防线。站长网2023-07-19 20:14:390000苹果WWDC 2023部分日程曝光,除了iOS17还有这些重磅新品登场?
早前,苹果已正式宣布WWDC2023苹果全球开发者大会将于今年6月6日-6月10日正式举行,如今随着日子一天天临近,关于本次大会的爆料消息也逐渐浮出水面。像是近日,网上有博主爆料称,苹果目前已向参加本次大会的人员发放相关的活动日程安排表。站长网2023-05-25 03:25:010001英国学生使用人工智能制作不当儿童图像引发警示
**划重点:**1.🤖学生使用人工智能制作涉嫌儿童性虐待图像。2.😨图像逼真程度令人震惊,有专家呼吁采取紧急行动。3.🚫专业机构建议学校紧急采取措施阻止儿童性虐待材料的传播。近日,英国一组关注儿童虐待和技术的专家警告称,英国学生正在利用人工智能(AI)制作不当儿童图像。站长网2023-11-27 15:04:540000谷歌向开发人员提供Gemini 1.5 Pro的API支持
Google已经开始为开发人员提供对Gemini1.5Pro的API支持。这意味着开发人员现在可以在AIStudioUI中试用Gemini1.5Pro。这一举措旨在鼓励大家利用1M令牌上下文窗口构建产品。Gemini1.5Pro的API支持为开发人员提供了更多的灵活性和功能,使他们能够更好地利用这一强大的工具来开发新的应用程序和服务。站长网2024-03-22 09:35:370001Gemini Ultra将于2月7日上线 Gemini将推付费计划
GeminiUltra即将于2月7日上线,伴随着此次更新,Google聊天机器人Bard将更名为Gemini。这一消息源自一份泄露的文档,透露了GeminiUltra的上线日期以及一系列重要变化。站长网2024-02-05 12:03:140002