三位OpenAI掌舵人亲自撰文:我们应该如何治理超级智能?
【新智元导读】现在是开始思考如何治理超级智能的好时机——未来的AI系统将比通用人工智能(AGI)更强大。
AI,从来没有像今天这样,如此广泛地影响着人类的生活,以及给人类带来如此多的担忧和麻烦。
像所有以往其他重大技术革新一样,AI 的发展亦有两面,一面向善,一面向恶,这也是当前全球各国监管机构开始积极介入的重要原因之一。
无论如何,AI 技术的发展好似已经是大势所趋、势不可挡,如何让 AI 在符合人类价值观和伦理的前提下更加安全地开发和部署,是当前所有 AI 从业者都需要认真思考的问题。
今天,OpenAI 的三位联合创始人——CEO Sam Altman、总裁 Greg Brockman、首席科学家 Ilya Sutskever共同撰文探讨了如何治理超级智能(superintelligence)的问题。他们认为,现在是开始思考超级智能治理的好时机了--未来的人工智能系统甚至比AGI的能力还要大。
根据我们目前看到的情况,可以设想,在未来十年内,人工智能(AI)将在大多数领域达到超越人类专家的技能水平,并能开展与今天最大的公司之一一样多的生产活动。
无论是潜在的好处和坏处,超级智能将比人类过去不得不面对的其他技术更加强大。我们可以拥有一个不可思议般繁荣的未来;但我们必须管理好风险才能到达那里。考虑到存在风险(existential risk)的可能性,我们不能只是被动地应对。核能便是其中具有这种特性的技术的例子;另一个是合成生物学。
同样,我们必须减轻当前AI技术的风险,但超级智能将需要特殊的处理和协调。
一个起点
在我们成功引领这一发展的机会中,有许多重要的想法;在这里,我们对其中三个想法进行了初步思考。
首先,我们需要在领先的开发努力之间进行一些协调,从而确保超级智能的开发是以一种既能让我们保持安全又能帮助这些系统与社会顺利融合的方式进行。有许多方法可以实现这一点;世界上的主要政府可以共同建立一个项目,让许多当前的努力成为其中一部分,或者我们可以通过「集体同意」(有一个新组织的支持力量,如下面建议的那样)的方式,将前沿AI能力的增长限制在每年一定的速度。
当然,个别公司也应该以极高的标准被要求负责任地进行开发。
其次,我们最终可能需要类似于国际原子能机构(IAEA)的机构来监管超级智能的开发;任何超过一定能力(或计算等资源)门槛的努力都需要受到这一国际机构的监督,该机构可以检查系统、要求审计、测试是否符合安全标准、对部署程度和安全级别进行限制等。追踪计算和能源使用情况会有很大的帮助,并给我们一些希望,这个想法实际上是可以实现的。作为第一步,公司可以自愿同意开始实施这样一个机构有朝一日可能要求的要素,而第二步,各个国家可以实施它。重要的是,这样一个机构应专注于减少「存在风险」,而不是应该留给各个国家的问题,如定义AI应该被允许说什么。
第三,我们需要有足够的技术能力来使超级智能安全。这是一个开放的研究问题,我们和其他人正在投入大量的精力。
不在讨论范围内的内容
我们认为,允许公司和开源项目在显著能力门槛以下开发模型是很重要的,而不需要我们在这里描述的那种监管(包括繁琐的机制,如许可证或审计)。
如今的系统将为世界创造巨大的价值,虽然它们确实存在风险,但这些风险水平似乎与其他互联网技术相当,而且社会的应对方式似乎是合适的。
相比之下,我们关注的系统将拥有超越迄今为止任何技术的力量,我们应该注意不要通过将类似的标准应用于远低于这个门槛的技术来淡化对它们的关注。
公共参与和潜力
但对,最强大的系统的治理,以及有关其部署的决定,必须有强大的公众监督。我们相信,世界各地的人们应该民主地决定AI系统的界限和默认值。我们还不知道如何设计这样一个机制,但我们计划做一些试验。我们依然认为,在这些广泛的界限内,个人用户应该对他们使用 AI 的行为方式有很大的控制权。
考虑到风险和困难,值得思考的是,我们为什么我们要构建这项技术。
在 OpenAI,我们有两个基本原因。首先,我们相信它将带来一个比我们今天所能想象的更好的世界(我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子)。世界面临着很多问题,我们需要更多的帮助来解决它们;这项技术可以改善我们的社会,而每个人使用这些新工具的创造力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。
其次,我们相信,停止构建超级智能将是一个具有非直观风险且困难重重的决策。由于其巨大的优势,构建超级智能的成本每年都在降低,构建者的数量也在迅速增加,而且它本质上是我们所处技术路径的一部分,要停止它需要类似于全球监控制度的存在,而即使有这样的制度也不能保证成功。因此,我们必须做到正确无误。
参考资料:
https://openai.com/blog/governance-of-superintelligence
更具情感的大模型,会给人类带来什么?
当下,如火如荼的大模型热潮,已经蔓延了数月之久,在各种关于大模型的测评中,优先级最高,也最被人看重的,莫过于各类大模型所展现出的IQ能力。无论是写代码、做数学题,还是各类考试,都是为了探究大模型的IQ极限。因为更高的IQ,就意味着更强的生产力,意味着更高的盈利水平,以及更多的可能性。大模型的IQ在过去几年不断提升(根据MMLU的测评结果)站长网2023-07-10 15:18:060000套壳的大模型,为何还活着?
所谓的“套壳”,并不意味着国产大模型黑暗的前景。国产大模型套壳,是个被吐槽已久的现象。最近,前阿里巴巴副总裁、知名AI框架大牛贾扬清昨日发朋友圈,爆锤国内某大厂套壳大模型LLaMA。大意是:要改就改吧,但别掩耳盗铃了,免得小公司做一些多余的适配工作……针对这条消息,业内不少人士纷纷猜测,贾扬清所说的那个“套壳大厂”,实际上就是前不久刚发布了Yi-34B大模型的零一万物。站长网2023-11-17 14:11:560001头部主播的跌落从捧杀开始 董宇辉被粉丝推上了李佳琦的老路
主播作为一个充分体现二八定律的职业,人人都想成为各自赛道或者平台的头部。但是过往的行业故事告诉我们人无千日好,花无百日红,要想一个主播跌落神坛也是很容易的。在游戏娱乐直播时代,主播们最怕的就是因为内容违规等上C站,这基本宣告了一个头部主播的灭亡。而在电商直播时代,主播们或许最怕的就是粉丝的捧杀和舆论的关注了。0000AI天才杨植麟交卷大模型产品,特点:长长长长长
千亿参数大模型,支持输入的长文本首次达20万字!在任何规模的大模型产品化队伍中,这个长度堪称目前的全球最长。用数据说话:目前Claude支持最大长文本为100k(约8万字),而GPT-4则是32k(约2.5万字)。20万字,分别是它们的2.5倍和8倍。这便是清华叉院助理教授杨植麟,创业大模型后拿出的第一份成绩单。站长网2023-10-10 20:27:080000从1万亿到2万亿只用了8个月!英伟达市值已突破2万亿美元
站长之家(ChinaZ.com)2月23日消息:英伟达在美股盘前交易中涨幅超过2%,股价冲破800美元大关,市值更是跃升至2万亿美元。这一里程碑式的增长仅用时八个月,打破了微软2年零六个月和苹果约两年的记录。英伟达最近公布的2024财年第四季度财报显示,公司营收高达221亿美元,同比增长了惊人的265%,环比增长22%。这一业绩超过了分析师预期的204.1亿美元。站长网2024-02-23 18:01:170000