图灵奖得主Joseph Sifakis：机器“超智能”神话是假想，失业、安全防护才是真风险！

我不想特意去讨论计算机和人工智能所带来的可能性。它们能为人类带来的好处可谓数不胜数，而且大家都耳熟能详了。媒体也经常讨论计算机和人工智能给我们的生活、工作和学习方式带来的根本变化。流程和服务的自动化为人们带来了效率的优势。在没有直接人工干预的情况下，我们便能以最佳方式对能源、电信和运输等部门的资源进行“实时”控制，从而实现规模经济和质量经济。

接下来，我想要深入讨论的是计算机和人工智能所带来的风险，这些风险有些是假想的，有些则是实际存在的。

假想的风险

最近，关于计算机“超智能”的神话越来越多。根据其中一个版本，计算机智能最终将超过人类智能，我们最终可能会成为机器的宠物。

史蒂芬·霍金、比尔·盖茨和埃隆·马斯克等人都支持这类观点。有些人受到雷蒙德·库茨魏尔的影响，认为技术奇点即将到来，当机器的计算能力超过人脑的计算能力时，技术奇点就会出现。

显然，这些观点缺乏严肃性，是站不住脚的。再强大的机器也不足以战胜人类的智慧。但他们的这些想法在媒体中找到了滋生的温床，被不加批判地广泛传播，在很大程度上引起了公众的共鸣。

我认为科学界应该对这种蒙昧主义和信口开河的混杂产物做出反应，并基于科学和技术标准，对人工智能的前景给出清醒的评估。不幸的是，人们喜欢相信惊心动魄的故事以及想象中的危险。

舆论很容易被假想的威胁（如外星人入侵或根据玛雅历法推算的世界末日）影响。相比之下，人们对通过冷静和理性的分析所发现的真正风险却置若罔闻，对其做出反应时常常为时已晚(例如，经济危机本可预见并提前做出防范，但最终却因为无所作为而导致经济崩溃)。

对于以上假想的风险，我引用著名科幻作家艾萨克·阿西莫夫提出的三条基本道理准则，机器人必须遵守:（1）不伤害人类;(2)服从人类;(3)保护自己。当然，我们使用的计算系统并不是科幻小说中的“邪恶机器人”。但没有人想过这些系统是否会违反上述任何一条(或所有)准则，并造成严重后果。当然，我们不能像科幻小说中写的那样，将这些后果归咎于机器人的恶意。

风险其一:失业

人们都在热议计算机智能的假想风险，也许把真正的风险掩盖住了。而这些真正的风险才是问题所在，因为它们涉及社会组织的类型及其所服务的关系，特别是社会和政治性质的问题。

很久以前人们就发现，自动化程度不断提高带来的一个风险是，机器人使用越普遍的行业失业率越高。因此，我们会看到农业和工业等部门，以及可以被自动化替代的服务部门的工作岗位数量在逐渐减少。而需要创造力的职业（如系统编程和设计），或者虽然不需要特殊资质但不易被系统化的职业(如邮件分发)仍然会有工作机会。

除了引发高失业率之外，自动化的趋势还会进一步扩大需要技能和知识的高薪工作与其他体力劳动之间的差距。

当然，有些人认为，传统工作岗位的消失会被新需求所创造的岗位抵消。我认为，除非对职业结构进行彻底改革，否则失业和工资差距的问题将会恶化。我不会进一步讨论这个问题。

风险其二:防护与安全管理

当自动化集成程度超过某个水平时，信息系统如果缺乏安全保护可能是极其危险的。众所周知，即使对那些最重要的系统，人们也无法做到全面保护它们不遭受网络攻击，我们充其量只能希望及时发现入侵者。

不幸的是，由于技术和其他原因，计算机系统在可预见的未来仍然极易受到攻击。这意味着我们不能排除灾难的发生，特别是国家之间出现紧张局势所引发的灾难。今天，网络战已经不再是由个人黑客发动，而是由组织良好的企业甚至国家发动。

一个相关的安全风险是，系统的解决方案往往相互依赖，这些解决方案一般是由越来越复杂的技术基础设施提供的，就像金字塔一样，以一种经验的方式堆叠起来。大家都知道，对于一些用旧的编程语言（如 Fortran）编写的复杂软件，我们是无法更改的。

不幸的是，大型计算机系统并不像机电系统那样以模块化方式构建。想要在不破坏大型计算机系统功能的前提下分离出它们的某些组件，并用同等甚至更好的组件进行替换，不是一件容易的事。这种变动所面临的风险难以评估。

这种替换和改进的困难使我们不得不依赖某些初始的选择，这是一种束缚。例如，如果你要把交通规则从靠右行驶改为靠左行驶，那么所面临的成本和风险将是巨大的。目前的互联网协议在安全性和反应性方面都不具备我们所期望的特性，然而由于当初的选择，我们只能继续使用这些协议。

我已经在讨论中指出，在引入人工智能和自主系统的领域，其风险管理与在其他领域有显著的差异。在这些领域中，不再有独立的国家机构来保证和控制系统的质量及安全。这个责任转移给了制造商。其中的风险是显而易见的，因为用户的安全级别将不再由透明的技术标准决定，而是由制造成本和能够覆盖事故赔偿金的保险成本之间的最佳平衡值来决定。

不幸的是，目前被大量采用的信息和电信技术被看作是理所当然。没有人问我们应该开发什么样的技术，为什么要开发，或者如何以最合适的方式使用现有的技术，也没有关于这些技术对经济、社会和政治会产生什么影响的公开辩论。

各国政府和国际组织明显是缺席和不作为的。他们好像认为技术进步本身就是目的。他们很少关心互联网上发生的违法行为。他们认为风险不可避免，因此干脆对其放任自流，就好像进步一定会带来某些不可避免和无法控制的弊病一样。

大型科技公司的宣传口号也显得十分愚蠢，例如“科技向善”或“科技守护安全”。谷歌、推特和脸书都有响亮的口号，例如“不作恶”、“帮助提升公众交流的集体健康、开放和文明程度”，以及“赋予人们建立社区的权利，让世界更紧密地联系在一起”。当然，如果期望这些公司关心创新和技术革命所带来的社会问题，那就太天真了。

因此，公众舆论仍然处于混乱迷失状态，而且在一定程度上被那些既不负责也不客观的声音操纵了。一些人夸大了风险，而另一些人则为了推广技术应用而淡化风险。公众却乐于接受错误的思想，并随波逐流。

那些对经济和社会组织顺畅运作至关重要的流程和服务，其自动化程度越来越高，但与此同时也导致对网络控制的决策越来越集中化。这个问题本质上是政治问题:决策的民主控制才是合理、安全地使用基础设施和服务的关键

风险其三:技术依赖

技术的应用解决了人们的许多实际问题并使生活变得更舒适，但这也意味着我们丧失了某些解决问题的技能。例如，今天很少有人知道如何使用摩擦生火，这是史前人类掌握的基本生存技能。今天的人们也不知道如何在野外生存或建造小屋来保护自己。

直到20世纪（包括20世纪），乘法口诀表一直是儿童数学教育的基础，然而在未来，孩子们也许不再需要背诵它了。担心人们过度依赖技术并非杞人忧天。因为现在技术不仅是解决单个问题，而且为人们提供了全面的解决方案。这意味着我们正在过渡到一种新的生活方式——技术提供大量的服务，减轻了我们管理决策的负担。在这种生活方式中，有越来越多的技能 / 知识不再是我们必须掌握的了。

那么，哪些基本技能 / 知识是我们必须掌握的呢?

为了解释其中的风险，有些人引用了“温水煮青蛙”的寓言。如果我们突然提高水温，青蛙就会从锅里跳出来。然而，如果我们逐渐提高水温，青蛙最初会感觉很舒服，并会一直待在锅里直到死去。

目前，社交媒体的用户愿意提供他们的个人数据，以换取更高质量的服务。然而这却是控制舆论的重要基础。每个人的个人喜好和信息对他们来说当然没有商业价值。然而，对非常大的数据集进行深入分析得出的结果，不仅对资源和系统的可预测性与控制性来说至关重要，而且对于市场和群体行为的可预测性与控制性也非常关键。可能我们还不理解这些信息的重要性，因为这些信息仍然是秘密，只掌握在那些当权者和愿意为此付费的人手中。

面对我们个人的威胁

我发现个人自由面临两种威胁。

第一种威胁是侵犯隐私权，它常常打着为了保护社会免受恐怖主义或犯罪行为侵害的旗号。有许多计划是通过开发特定的技术解决方案来增加对个人的监控。例如征信系统（为了利用个人信誉建立征信，它允许用户在在线社区中相互评分）。

利用这样的系统，有人就可以通过武断的程序和标准来污蔑或排斥其他公民。毋庸置疑，对于这些侵犯隐私的工具的使用，有必要建立一个监管框架。

第二种威胁来自自主系统和服务的广泛使用，而这往往会打着提高效率的旗号。普及自主系统和服务的愿景正在通过物联网得到推广。这个愿景的构想是在没有人为干预的情况下实现关键资源和基础设施管理的自动化。其中的决策标准可能非常复杂，以至于超出了人类理解和控制的范围。

因此，我们可能会形成一个技术专制的系统，尤其是因为自动化使决策越来越集中。因此，真正的风险是计算机生成的知识被不受控制地用于决策，并在关键流程中取代人类。

正确、合理地使用人工智能和自主系统取决于以下两个因素。

第一，根据客观标准评估我们是否可以信任计算机生成的知识。这是目前正在研究的课题——希望这些研究能够给我们提供一个答案。我们正在尝试开发“可解释的”人工智能，让我们能够理解并在某种程度上控制系统的行为。此外，我们需要一种评估知识的新方法，来弥合科学知识与人工智能经验知识之间的差距。

第二，全社会的警惕性和政治责任感。当使用计算机生成的知识做出关键决策时，我们必须确保这些知识是安全的和中立的。自主系统的安全性必须得到独立机构的认证，而不是留给开发它们的人。在这方面，立法并建立监管框架，以及让机构参与风险管理可能会起到一定的作用。