超级智能：路线图、危险性与应对策略

特斯拉汽车和PayPal联合创始人伊隆？马斯克隆重推荐
《超智能时代》一书值得一读，我们需要十分小心人工智能，它可能比核武器更危险。
如果机器比人类聪明，那么我们将不再是这个星球的主宰
当这一切发生的时候，机器的运转将超越人类，“智能大爆发”出现了

当机器智能超越了人类智能时会发生什么？人工智能会拯救人类还是毁灭人类？
作者提到，我们不是这个星球上速度最快的生物，但我们发明了汽车、火车和飞机。我们虽然不是最强壮的，但我们发明了推土机。我们的牙齿不是最锋利的，但我们可以发明比任何动物的牙齿更坚硬的刀具。我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。如果机器比人类聪明，那么我们将不再是这个星球的主宰。当这一切发生的时候，机器的运转将超越人类。
人类大脑拥有一些其他动物大脑没有的功能。正是这些独特的功能使我们的种族得以拥有主导地位。如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会极其强大，并且有可能无法控制。正如现在大猩猩的命运更多的掌握在人类手中而不是自己手中一样，人类未来的命运也会取决于机器超级智能的行为。
但是，我们有一项优势：我们有机会率先采取行动。是否有可能建造一个种子人工智能，创造特定的初始条件，使得智能爆发的结果能够允许人类的生存？我们如何实现这种可控的引爆？
作者相信，超级智能对我们人类将是一个巨大的威胁。在这本书中，作者谈到了超级智能的优势所带来的风险，也谈到了人类如何解决这种风险。作者认为，他的这本书提到的问题将是我们人类所面临的最大风险。
《超级智能：路线图、危险性与应对策略》目标宏大，且有独创性，开辟了人工智能领域的新道路。本书会带你开启一段引人入胜的旅程，把你带到对人类状况和智慧生命未来思索的最前沿。尼克?波斯特洛姆的新书为理解人类和智慧生命的未来奠定了基础，不愧是对我们时代根本任务的一次重新定义。

尼克·波斯特洛姆，全球著名思想家，牛津大学人类未来研究院的院长，哲学家和超人类主义学家。其学术背景包括物理、计算机科学、数理逻辑以及哲学，著有大约200种出版物，已经被翻译成22种语言。曾获得尤金?甘农（Eugene R. Gannon）奖（该奖项的获得者每年只有一名，他们来自哲学、数学、艺术和其他人文学科与自然科学领域）。

★这本书讨论的就是怎么解决“人算不如天算”的问题。所以我称之为“天算论”。你为什么应该关注这本书呢？如果说“天演论”告诉人们的是，物竞天择，适者生存，至少人还是赢家；那么“天算论”就没那么简单了，将来人与计算机竞争，人还会是赢家吗？
《超级智能》讨论的是我们这个时代的优先事项。
——姜奇平 中国社会科学院信息化研究中心秘书长、《互联网周刊》主编

★尼克·波斯特洛姆有力地指出，未来人工智能的影响可能是人类面对的最重要的问题，我们需要采取措施。《超级智能》用极其详细的方式阐述了潜在的未来的危险。它标志着一个新时代的开始。
——斯图尔特·罗素 加利福尼亚大学伯克利分校计算机科学教授

★在读过这本具有独创性、论证充分的著作之后，那些将“人工智能夺权”视为科学幻想的人会重新思考。
——马丁·里兹 英国皇家学会前主席

★尼克·波斯特洛姆是世界上最聪明的思想家之一，在这部新作中，他对人类面对的最大挑战进行了精彩的分析。
——马克斯·特格马克 麻省理工学院教授

★这是一本极其重要的、开创性的书。作者非凡的睿智和清晰的头脑使他能够将广泛的知识糅合成一个可以理解的整体，这些知识涉及很多领域：工程学、自然科学、医学、社会科学和哲学。如果这本书得到了应有的重视，那么它会成为自1962年《寂静的春天》之后，甚至有史以来，最重要的警钟。
——奥莱·哈格斯特罗姆 瑞典查尔姆斯理工大学教授

在你的颅腔里，有个器官能够阅读。这个器官就是人的大脑，它具有其他动物大脑没有的一些能力，而我们在地球上的主宰地位便归功于这些独特的能力。其他动物有更强壮的肌肉或更锐利的爪子，但是我们有更聪明的大脑。我们在一般智能方面的些许优势使我们创造了语言，发展了科技，并建立了复杂的社会组织。这种优势随着时间的延续而不断提高，因为每一代人的成就都建立在前人的成就之上。
如果有一天我们发明了超越人类大脑一般智能的机器大脑，那么这种超级智能将会非常强大。并且，正如现在大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器。
然而我们拥有一项优势：我们清楚地知道如何制造超级智能机器。原则上，我们能够制造一种保护人类价值的超级智能，当然，我们也有足够的理由这么做。实际上，控制问题—也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，而我们的命运就因此被锁定了。
在本书中，我将努力诠释可能出现的超级智能带来的挑战，以及我们如何更好地应对。这很可能是人类面对的最重要和最可怕的挑战。而且，不管我们成功还是失败，这大概都是我们将要面对的最后一个挑战。
本书并不认为，我们即将在人工智能方面取得重大突破，或者能够准确预测突破会在何时发生。突破有可能会在21世纪的某些时候实现，但是我们并不能确定。本书的前几章讨论了取得突破的可能途径，并谈论了何时能够突破的问题。然而，本书的主要部分讨论的是智能爆发以后会发生什么。我们会研究智能大爆发的动力学，超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。然后，我们探讨的重点转向控制问题，并提出为了让我们生存并且获得有利的结果，我们如何选择初始数据的问题。在本书的结尾，我们将画面拉远，思考我们的研究所呈现的更大的图景。最后提出了一些建议，指出为了增加避免存在性灾难的概率，我们现在可以做些什么。
我希望本书可以开辟出一条道路，以使其他研究者能够更加快速和便捷地到达这个领域的前沿，从而以全新的视角加入这项研究，进一步扩展我们的认识。（如果我铺的这条道路有点崎岖不平，那么我希望评论家们在评判结果时，不要低估原来地势的险恶情况！）
这本书写起来并不容易。我努力使其读起来容易，但是我觉得可能并没有做到。写作时，我把早前时间切片（time-slice）里的自己当作目标读者，并尽量把书写成自己喜欢阅读的类型。虽然这可能会导致读者群较窄，但我还是认为书中的内容对很多人来说都是能够理解的，前提是他们对书中的内容进行一些思考，同时拒绝盲目地将任何一个新观点误解为他们文化中相似而陈旧的观点。非科技专业的读者不必因为书中偶尔出现的数学知识或专业术语感到气馁，因为往往可以通过上下文的解释看懂主要观点。
本书提出的很多观点可能是不恰当的，而有些非常重要的观点我可能也没有考虑到，从而削弱了我的某些或者所有结论的有效性。我已经尽可能地在全书中指明细微差别和不确定性—书中遍布着太多的“可能”、“或许”、“也许”、“也有可能”、“看起来”、“大概”、“非常可能”、“几乎肯定”这样的词。每个限定词的使用都是经过深思熟虑的。然而，这些字眼所体现出的认识方面的谦虚谨慎依然是不够的，还必须要补充对不确定性和易错性的整体说明。这不是虚伪的谦虚，因为虽然我相信我的书中可能有一些较严重的问题和误导性，但是我认为目前书中提到的其他观点更加糟糕，包括默认观点或者所谓的“零假设”，这些观点认为我们可以暂时安全地或合理地忽略超级智能出现的可能性。
第一章 人工智能：昨日成就与今日现状
首先，我们回顾过去。在最长的时间范围里，历史似乎呈现出一系列不同的增长模式，每个新模式都比前一个模式增长更快。根据这个规律推测，可能会出现另一种（甚至更快速的）增长模式。然而，我们并不特别强调这个观点，因为这并不是一本关于“科技加速”、“极速增长”，或者集合在“奇点”标题下的各种观点的书。然后，我们要回顾人工智能的历史，之后再探索目前人工智能的能力。最后，我们简要地介绍一些专家近期的观点和调查，并且思考一下我们对于未来发展之时间表的空白领域。
增长模式和宏大历史
仅在几百万年前，我们的祖先还在非洲森林中穿梭。以地质或进化的时间尺度来看，从与类人猿共同拥有的最后一代祖先向智人的进化是非常快速的。我们进化出直立的姿势和对生拇指，而最重要的是，我们的大脑体积和神经组织发生了相对微小的变化，但正是这些变化引起了人类认知能力的巨大进步。因此，人类可以进行抽象思维，交流复杂的思想，可以比地球上任何其他物种更好地积累和传承文化信息。
这些能力使人类创造出越来越高效的生产技术，从而使我们的祖先从热带雨林和草原向远方的迁徙成为可能。尤其是进行农耕之后，人口总数和人口密度都在增加。更多的人口意味着更多的想法；更大的人口密度则意味着想法更容易传播，并且更多的个体可以专注于发展专门的技能。这些发展提高了经济生产力和技术实力的增长率。后来与工业革命相关的发展则带来了第二次与此相当的增长率的剧增。
这些增长率的变化有着重要的影响。几十万年前，在早期人类（或原始人类）史前时代，增长非常缓慢，要使人类生产能力增长到能够维持另外100万人基本生存的水平，需要大约100万年的时间。到了公元前5000年，经过了农业革命，增长率已经提高到只需要两个世纪就能实现同样的增长。今天，经过了工业革命，世界经济平均每90分钟就能够增长相同的量。
即使是现在的增长率，如果持续一定时间，也会产生可观的结果。如果世界经济继续以过去50年的速度增长，那么到2050年，全球财富将是现在的约5.8倍，到2100年则是约35倍。
然而，当前这种依指数增长实现稳定繁荣的方式仍旧是不够的，如果世界再经历一次农业革命或工业革命那样的飞跃式增长，世界将会呈现出完全不同的面貌。经济学家罗宾?汉森通过研究历史上的经济和人口数据，推测出过去社会中经济呈倍数增长所要经历的时间：在洪积世 狩猎采集社会下，经济增长翻倍需要224 000年，在农业社会需要909年，在工业社会则需要6.3年。（在汉森的模型中，当今时代是农业社会和工业社会发展模式的混合体，世界经济实现倍数增长的速度还不能达到6.3年这个平均时长。）但如果出现另外一种完全不同的经济增长模式，类似于农业革命和工业革命时期的飞跃式发展，那么世界经济便会以每两周的时间实现翻倍增长。
以当今形势看，要实现这种增长速度无异于痴人说梦。观察家们可能已经发
洪积世（Pleistocene），又译更新世，地质时代第4纪的早期。—译者注现，对于以往的历史时期而言，世界经济很难在某一段时期中实现好几次翻倍增长。然而，我们现在就要学着对这种不寻常的情况习以为常。
弗诺·文奇（Vernor Vinge）开创性的文章以及雷?库兹韦尔（Ray Kurzweil）等人的著述所揭示的那种即将到来的技术性奇点已经受到了广泛关注。然而，“奇点”这一术语在很多不同领域被混乱地使用，并催生出一种不合理的技术乌托邦氛围，就好像我们会就此迎来太平盛世了。考虑到“奇点”这个词所指的大部分涵义与本文的论述不甚相关，我们可以去掉这个词并代替以更精确的术语，以便阐述得更清晰。
我们更感兴趣的一个与“奇点”相关的术语是智能爆发，尤其是机器超级智能的前景。肯定会有人意识到图1–1所显示的增长模式是比农业革命和工业革命还要激烈的另一种可能的飞跃式增长模式。这些人也会意识到，要想让世界经济实现在仅仅数周内翻倍的增长速度，就需要创造出一种比人类的生物性思维更快、更有效的思维方式。但是我们很难通过分析经济增长曲线以及推断过往经济增长模式来认真严肃地了解机器智能变革的前景。我们将看到，更加强有力的理由会让我们认真考虑这一问题。
大预期
自20世纪40年代计算机被发明出来之后，机器就一直被寄予厚望，人们希望机器能够具备人的一般智能，更确切地说，就是机器要具备普通判断力和有效的学习、推理能力，并且要能够制订计划以应对复杂信息处理过程带来的挑战，这种挑战可能来自自然和抽象领域的各个方面。在计算机刚面世时，人们就期望能够在未来20年之内赋予计算机人工智能。但一年又一年过去了，实现让机器具备人工智能的日期却一拖再拖；以至于今天，关心人工智能的未来学家们依旧普遍认为智能机器的出现还需要20多年。
在谈到彻底变革所需要的时间时，预言家们总喜欢用20年这个时间跨度：这个时间跨度既抓眼球，又足够长，长到可以让一个目前看起来还是模糊想象的突破成为现实。为什么不是更短的时间跨度呢？因为大多数在未来5~10年内可能对世界产生重大影响的技术目前已经在小范围内被应用了，而全新的技术在不到15年之内就能让世界焕然一新，当然这也只是一个理论假设。另外，之所以喜欢说20年，还有可能是因为一个预言家的职业生命大概就是这么长，这样一来他在做出大胆假设时也不用承担名声受损的风险。
……

天算论
常言说，人算不如天算。
如果将来计算机的计算能力超过人的计算能力，那么人算不如天算，人被计算机所算计，这会成为一个关系人类命运的头号问题。
尼克？波斯特洛姆的《超级智能》讨论的就是怎么解决“人算不如天算”的问题。所以我称之为天算论。
你为什么应该关注这本书呢？
如果说天演论告诉人们的是，物竞天择，适者生存，至少人还是赢家；那么天算论就没那么简单了，将来人与计算机竞争，人还会是赢家吗？
《超级智能》讨论的是我们这个时代的优先事项。
“智能爆发的威力会击落整个苍穹”，在计算机时代，悠悠万事，唯此为大。
这个时代的优先事项
为什么要设置“超级智能”这个议题？有什么理由，值得让你为了它而放下手边杂事，屏息凝神？
让我们先从本书的最后一句读起。作者谈到这本书的立意：“透过日常琐事的迷雾，我们能够（模糊地）看到这个时代的核心任务。在这本书中，我们尝试着在相对模糊不清的视野中辨别更多的特征。我们看到，降低存在性风险，并且实现导向合理使用人类宇宙资源的文明进步，是我们道德上的主要优先事项。”
让我解释一下“这个时代的核心任务”，“道德上的主要优先事项”。
人生最大的喜乐，无非“久旱逢甘露，他乡遇故知。洞房花烛夜，金榜题名时”。而人生最大的悲哀，恐怕不是被枪毙，而是于枪毙前被要求自己给自己挖坑。
但人类经常干这种事：
在农业社会，土地本来是人类发展的工具，但结果却演变成，人为了土地，而失去了自我。托尔斯泰的《战争与和平》，讲的就是人类为了土地而打杀，死了都不知道是为了什么。
在工业社会，资本本来是人类发展的工具，但最后演变成，人为了资本，而失去了自我。马克思的《1844年经济学哲学手稿》，讲的就是人类为了资本而争斗，为了手段而忘记目的。
在信息社会，智能本来是人类发展的工具，但最后演变成，人为了智能，而失去了自我。《超级智能》讲的是，人把计算机造成了超级自我，但自我该如何做，才能保证人本身才是目的，而不被自己发明的手段所打败呢？
这就是“这个时代的核心任务”，“道德上的主要优先事项”。
所以，农业社会的人，应该看看《战争与和平》中那些活得明白的人；工业社会的人，应该了解《1844年经济学哲学手稿》中那些克服异化的思想。中国的工业化到2020年将基本完成，那时中国人将进入信息社会，但如果不关注《超级智能》讲的“时代核心”与“道德优先”，活着也是浑浑噩噩，在火葬场里边和外边，虽说有一些区别，但区别也不像想象的那么大。
人类经历了土地的挑战、资本的挑战，今天来到了信息时代，智能的挑战是“我们将要面对的最后一个挑战”。
正如波斯特洛姆点明的：
如果有一天我们发明了超越人类大脑一般智能的机器大脑，那么这种超级智能将会非常强大。并且，正如现在大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器的行为。
在本书中，我将努力诠释可能出现的超级智能带来的挑战，以及我们如何最好地应对。这很可能是人类面对的最重要和最可怕的挑战。而且，不管我们成功还是失败，这大概都是我们将要面对的最后一个挑战。
与许多相信机器最后将战胜人类的业界专家相比，波斯特洛姆的心态总的来说是积极的，他的乐观来自一个判断：“我们拥有一项优势，即我们清楚地知道如何制造超级智能机器。”
波斯特洛姆认为，原则上，我们能够制造一种保护人类价值的超级智能，当然，我们也有足够的理由这么做。实际上，控制问题—也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，那时我们的命运就被锁定了。