如何在科学研究中使用AI,避免走偏?
划重点:
🔍 一项新的统计技术,预测驱动推断(PPI),帮助科研人员安全地使用机器学习预测来验证科学假设。
🔍 机器学习模型可以加速科学发现,但也可能导致误导性或错误的结果。
🔍 PPI技术允许科学家在不了解模型错误性质的情况下,纠正大型通用模型的输出,以适应特定科学问题。
近十年来,人工智能已经渗透到科学的各个领域。机器学习模型已被用于预测蛋白质结构、估算亚马逊雨林的砍伐比例,甚至分类可能存在系外行星的遥远星系。然而,虽然AI可以加速科学发现,但它也可能误导科学家。与聊天机器人有时会“产生幻觉”或编造信息类似,机器学习模型有时也会呈现误导性甚至明显错误的结果。
加州大学伯克利分校的研究人员在一篇在线发表的《科学》论文中提出了一种新的统计技术,用于安全地使用机器学习模型的预测来验证科学假设。这项技术被称为“预测驱动推断”(PPI),它利用一小部分真实世界数据来在特定科学问题的背景下纠正大型通用模型的输出,例如AlphaFold,该模型用于预测蛋白质结构。
图源备注:图片由AI生成,图片授权服务商Midjourney
这些模型旨在通用性,它们可以回答许多问题,但我们不知道它们回答哪些问题得心应手,哪些问题回答不好。如果你无知地使用它们,不知道自己处于哪种情况,你可能会得到错误答案。PPI技术使你能够使用这些模型,但也能够在不了解错误性质的情况下进行纠正。
在科学实验中,科学家们通常不仅寻找一个答案,而是想要获得一系列可能的答案。这是通过计算“置信区间”来实现的,最简单的情况下可以通过多次重复实验并观察结果的变化来找到。然而,大多数科学研究中,置信区间通常是指总结或综合的统计数据,而不是个别数据点。不幸的是,机器学习系统关注个别数据点,因此不能为科学家提供他们关心的不确定性评估。例如,AlphaFold预测了单个蛋白质的结构,但它没有提供该结构的置信度概念,也没有提供与蛋白质的一般性质相关的置信区间的获取方式。
科学家可能会试图将AlphaFold的预测用作数据,以计算经典置信区间,而忽视了这些预测不是数据的事实。这种方法的问题在于,机器学习系统具有许多潜在偏见,这可能会使结果产生偏差。这些偏见部分来自它们所训练的数据,这些数据通常是现有的科学研究,可能没有与当前研究具有相同的关注点。
PPI技术允许科学家将AlphaFold等模型的预测纳入其中,而不对模型的构建方式或训练数据做出任何假设。为了做到这一点,PPI需要一小部分与正在调查的特定假设无关的无偏数据,以及与该数据对应的机器学习预测。通过将这两个证据来源结合在一起,PPI能够形成有效的置信区间。
研究团队将PPI技术应用于使用卫星图像来定位亚马逊雨林砍伐区域的算法。这些模型在森林中的不同地区进行单独测试时通常是准确的,但当将这些评估结合在一起以估计整个亚马逊雨林的砍伐情况时,置信区间变得高度倾斜。这可能是因为模型难以识别某些较新的砍伐模式。通过PPI,团队能够使用少量人工标记的砍伐区域来纠正置信区间中的偏见。
研究团队还展示了这种技术如何应用于各种其他研究领域,包括蛋白质折叠、星系分类、基因表达水平、浮游生物计数以及收入与私人医疗保险之间的关系。这一方法可以应用于各种问题,是现代数据密集、模型密集和合作科学的必需组成部分。
淘宝发钱,死磕内容
在淘宝月入千万,这是最近某内容机构立下的Flag。一年多来,为了加码内容化,增加平台内的非卖货类视频、直播,淘宝终于还是祭出了“发钱大法”,不少机构、达人也摩拳擦掌准备大干一场。现在打开淘宝逛逛,首先出现在眼前的就是“签到领1元红包”活动。根据规则,用户连续在淘宝看10天视频,最高能得96元现金红包。图源:淘宝站长网2023-08-10 14:04:570000淘宝免单后,网友恶补文化课
网上买东西,怎么才能省钱?有人说多比价,有人说多用券;也有人拍拍胸脯,表示学好文化知识就行。最近,为了看图猜对金额,获得淘宝免单资格,网友们分成了三大派别。其中,“勤学苦读派”相信自己,“场外求助派”发挥人脉,“胡言乱语派”负责搞笑,对正确思路形成干扰。而除了智力大比拼之外,网友想要赢得免单资格,还要从出题思路进行分析;而付款的时机、商家发货的速度,也成了免单成功的因素。站长网2024-05-14 14:42:57000030余名ChatGPT训练派遣工遭解雇 因训练效果未及预期
3月份,30余名帮助培训爆火聊天机器人ChatGPT背后语言模型的派遣工被解雇,Slack内部聊天截图显示,总部位于旧金山的外包公司InvisibleTechnologies解雇了31名派遣工。InvisibleTechnologies公司负责提高模型的编码技能,增强创造性写作能力,或者训练模型拒绝对某些话题做出响应。站长网2023-04-24 11:38:000000Jina AI 推出“jina-embeddings-v2”:全球首个8k 开源文本嵌入模型
JinaAI公布了其第二代文本嵌入模型的最新进展:jina-embeddings-v2。这个最先进的模型是唯一支持8K(8192个token)上下文长度的开源解决方案。这一成就使其在功能和在大规模文本嵌入基准(MTEB)排行榜上的性能方面与OpenAI的专有模型text-embedding-ada-002相当。站长网2023-11-02 15:17:400001报道称Midjourney存在漏洞 用户可绕过生成违规图片
文章概要:1.最新研究揭示Midjourney图片生成器存在漏洞,容易被黑客入侵,可能导致虚假信息传播。2.研究发现,用户可以绕过Midjourney的规定,制作具有攻击性的政治图片,引发严重问题。3.尽管Midjourney的使用条款明确禁止制作攻击性、血腥或虚假图片,但研究表明用户仍能够绕过这些规定。站长网2023-09-26 18:00:450002