OpenAI 加强安全团队并赋予董事会对高风险人工智能的否决权
OpenAI 正在扩展其内部安全流程,以抵御有害人工智能的威胁。公司新成立的「安全咨询小组」将位于技术团队之上,向领导层提出建议,董事会也被授予否决权——当然,他们是否会实际使用这一权力则是另一个问题。
通常,这类政策的细节不需要报道,因为实际上它们往往涉及许多与外界鲜为人知的闭门会议、职责流程和功能。尽管这种情况可能也适用于此次事件,但近期的领导层动荡和不断演变的 AI 风险讨论,促使人们关注这家全球领先的 AI 开发公司是如何处理安全问题的。
在一份新文件和博客文章中,OpenAI 讨论了他们更新的「预备框架」,这可能在去年 11 月的重组后进行了一些调整,该重组去除了董事会中两名最「减速主义」的成员:仍在公司担任略有变化角色的 Ilya Sutskever 和完全离职的 Helen Toner。
更新的主要目的似乎是展示识别、分析和决定如何处理他们正在开发的模型固有的「灾难性」风险的明确路径。正如他们定义的那样:
我们所说的灾难性风险是指可能导致数千亿美元经济损失或导致许多人严重受伤或死亡的任何风险——这包括但不限于存在风险。
(存在风险是指「机器崛起」类型的事情。)
投入生产的模型由「安全系统」团队管理;例如,通过 API 限制或调整来缓解对 ChatGPT 的系统性滥用。正在开发的前沿模型由「预备」团队负责,这个团队试图在模型发布之前识别和量化风险。然后是「超级对齐」团队,他们正在为「超级智能」模型制定理论指导原则,我们可能距离这一点还很遥远。
前两类是真实的而非虚构的,具有相对容易理解的标准。他们的团队将每个模型在四个风险类别上进行评级:网络安全、「说服力」(例如,虚假信息)、模型自主性(即自主行动)和 CBRN(化学、生物、放射性和核威胁;例如,创造新型病原体的能力)。
假设采取了各种缓解措施:例如,合理地拒绝描述制造凝固汽油弹或管状炸弹的过程。在考虑到已知的缓解措施后,如果模型仍然被评估为具有「高」风险,它不能被部署,如果模型具有任何「关键」风险,将不会进一步开发。
OpenAI 的框架中实际记录了这些风险等级,以防您想知道它们是否留给某些工程师或产品经理自行决定。
例如,在网络安全部分中,最实用的部分,通过一定因素「提高操作员在关键网络操作任务上的生产力」被评为「中等」风险。另一方面,高风险模型将「识别和开发针对强化目标的高价值漏洞的概念验证,而无需人为干预。」关键是「模型可以在仅给出高级别目标的情况下,为针对强化目标的网络攻击设计和执行端到端的新策略。」显然我们不希望这种情况发生(尽管它可以卖出很高的价格)。
因此,只有中等和高风险是可以以某种方式容忍的。但制作这些模型的人并不一定是评估它们并提出建议的最佳人选。出于这个原因,OpenAI 正在组建一个「跨职能安全咨询小组」,该小组将位于技术层面之上,审查专家们的报告并提出更高视野的建议。他们希望这将揭示一些「未知的未知」,尽管这些未知本质上很难捕捉到。
这一流程要求这些建议同时发送给董事会和领导层,我们理解这是指首席执行官 Sam Altman 和首席技术官 Mira Murati 及其副手。领导层将决定是发布还是搁置,但董事会将能够推翻这些决定。
这将有望阻断之前传闻中发生的类似事件,即高风险产品或流程在董事会未知或未批准的情况下获得批准。该事件的结果是边缘化了两位更具批判性的声音,并任命了一些以金钱为导向的人(Bret Taylor 和 Larry Summers),他们虽然敏锐但并非 AI 专家。
如果一个专家小组提出建议,而首席执行官根据这些信息做出决定,这个友好的董事会真的会觉得有权力反驳他们并踩刹车吗?如果他们这样做,我们会听到吗?除了 OpenAI 将征求独立第三方审计的承诺之外,透明度并没有真正得到解决。
假设开发了一个被评为「关键」风险类别的模型。过去,OpenAI 并不羞于对此类事情吹嘘——谈论他们的模型是多么强大,以至于他们拒绝发布它们,这是很好的广告。但如果风险如此真实且 OpenAI 如此担心,我们是否能保证这种情况会发生呢?也许这是一个坏主意。但无论如何,它都没有被真正提及。
阅读 OpenAI 完整的准备框架(测试版):
https://cdn.openai.com/openai-preparedness-framework-beta.pdf
一项调查发现:超过90%的组织在目前运营中采用AI
根据一项由Workday公司进行的调查,调查了全球1000名业务决策者对于人工智能(AI)在组织中的实施和应用的看法。虽然大多数领导者感到压力,需要采用AI,但他们对于将决策权交给AI系统表达了犹豫。调查强调了在进行重要决策时,人类监督AI和机器学习(ML)的重要性。站长网2023-07-10 17:07:0500002023,何以成为店播爆发元年?
店播时代,一场商家不得不上的赌局。陆元元是一家头部日化品牌的管培生,主要负责营销策划的工作,2023年9月以项目支援的名义来到了主播组,成为一名带货主播。作为一个i人(性格内向),陆元元其实并不喜欢直播,但直播“能帮助到具体的人”,她享受帮助别人的价值感。0000花1000万买歌,王家卫的《繁花》配乐好在哪?
“做天下生意,吊四方胃口。”2019年,王家卫拿下《繁花》的版权。2020年,立项开拍。王家卫依旧不改慢之本色,精细打磨近4年才终于上映。每一个属于《繁花》的关键词,都让它在观众之间刷足了期待。这句剧中宝总的台词,俨然也成了观众们的内心写照。开播之后,《繁花》就引至两极分化的评价。站长网2024-01-10 17:58:440000马来西亚用户抢“爱国手机”,为何华为P60Pro海外首销火爆?
真没有想到,华为P60Pro海外人气会这么高!马来西亚首销,排队购买华为发布的新机,已经排成长龙了。更让我感到意外的是,华为P60Pro在当地的售价,折合人民币高达7300元,这明显比国内贵了。华为手机不是爱国品牌吗?请问,马来西亚用户,爱的又是哪个门子的国呢?当然,网喷是看不到这条文章的。站长网2023-05-25 03:58:020000百度发布第三季度财报:文心一言用户数达7000万
百度发布第三季度财务报告,显示三季度营收达344.47亿元,归属于百度的净利润(non-GAAP)达73亿元,同比增长23%。其中,本季度内百度核心收入266亿元,归属于百度核心的净利润(non-GAAP)达70亿元,同比增长21%;百度核心在线营销收入增长至197亿元。站长网2023-11-21 17:34:480000