超级智能来了，你准备好没有？

        人类还未曾遇到过更加聪明的生命形式，但是如果我们创造出认知能力远超我们的机器，这一情况就要改变了。到那时，我们的命运将依赖于这种“超级智能”的意志，就如同当今大猩猩的命运更多地由我们决定，而非它们自己的行为决定一样。
        因此，我们有理由好奇，这种超级智能将会有什么样的愿望。是否能有一种设计它们动机系统的方法，让它们的喜好与我们的一致？假设一部超级智能刚开始是对人类友好的，是否有某种方法能够保证，即便当它为自己创造了能力更强的替代版本，它还会对我们保持着善意？
        这些也许将是我们这个物种要面临的最严重问题，为此我们有必要创立一门有关高级人工智能体的新学科来应对。回答这些问题的大部分工作还有待完成，然而在过去10年间，一群数学家、哲学家和计算机科学家已经开始取得进步。正如我在新书《超级智能：方法、危险、策略》（Superintelligence: Paths, dangers, strategies）中所阐述的，他们的发现猛然听来令人不安，细细品咂却蕴藏着醉人心脾的魅力。简而言之，我们将懂得，为机器智能的变迁做足准备，是这个时代务必完成的一项任务。
        不过让我们后退一步，思考一下为什么具备高水平综合智力的机器如此不得了。我所说的超级智能，指的是在几乎所有领域的认知表现都远超人类的智能体。很显然，目前我们所有的人工智能（AI）都还没有满足这一标准。它们在大多数方面甚至还不如老鼠。
        所以我们探讨的并非当下或者近未来的系统。没人知道开发出在普通学习和推理能力方面能与人类匹敌的机器智能还需要多长时间。听上去比较可信的推测是还要几十年。但是一旦AI达到并超越了这一水平，它们便有可能迅速上升到彻头彻尾的超级智能阶段。
        在AI科学家的能力超越了人类科学家之后，人工智能领域的研究将由机器在数字化时间尺度内执行，进展将会相应地变得迅速。因此将存在一种智能暴涨的可能性，也就是说——我们由没有计算机比人类聪明的时代，迅速演进到机器超级智能远远胜于所有生物智能的时代。
        第一个经历这种智能暴涨的AI系统将变得极为强大。它会是世界上唯一的超级智能，能够非常迅速地开发许多其他技术，比如纳米分子机器人，并利用这些技术按照其自身喜好塑造生命的未来。
        我们能够区分出3种形式的超级智能。速度超级智能可以做人类头脑能做到的所有事情，但要迅速得多。一个运行速度超过人脑10,000倍的智能系统能够在几秒之内阅读一本书，在一个下午完成一篇博士论文。对这样一个高速头脑来说，外部世界就像是在放慢镜头。
        集合超级智能是大量人类水平的智能体组合而成的系统，这种系统的性能在整体上远胜任何目前的认知系统。以计算机软件形式运行的人类水平意识很容易被拷贝并运行在多个计算机上。如果每个拷贝的价值足以弥补硬件和电力的花销，便会发生大规模数量激增。在拥有亿万个这种智能的世界里，技术进步将比今天快许多，因为科学家和发明家的数量会是今天的成千上万倍。
        最后是能力超级智能，这种智能的运转速度至少和人类意识一样快，从能力上来说却要聪明得多。这是个更难理解的概念，意思是可能会出现一种智能体，它比人类聪明，正如同我们比任何其他动物聪明一样。单拿纯粹的计算力来说，人脑或许并不优于抹香鲸的脑。后者是已知最大的脑，重约7.8千克，而人脑的平均重量是1.5千克。当然，人类以外的动物的脑都完美地适合其生态需求。然而人类的脑却具备抽象思考、复杂语言表达和长期计划等能力，使我们能比其他物种更加成功地从事科学、技术和工程。但是，没有理由认为我们的脑是有可能出现的最聪明的脑。事实上我们反倒有可能是有能力创造技术文明的生物物种当中最愚蠢的。那个生态位被我们占据是因为我们首先发展到了那一步，而不是因为我们在任何意义上都最适应那个生态位。
        不同类型的超级智能或许有着不同的强项和弱点。比如说，集合超级智能将善于解决易于分解为独立子问题的问题，而面对需要以新的观念性领悟或者复杂协同的思考来应对的问题，能力超级智能会具有优势。
        不过不同种类超级智能的间接能力范围都是一致的。只要第一轮迭代具备了科研能力，它便很有可能迅速成长为全面综合性超级智能。那是因为，它将有能力为其自身建造当初缺失的任何认知官能所需的计算机或者认知科学研究，以及配套的开发软件。
        一旦发展到这个水平，机器脑相对于生物脑将拥有很多根本性的优势，就如同发动机相对于生物肌肉拥有优势一样。在硬件方面，优势包括数量大得多的处理单元、这些单元更高的运行频率、快得多的内部通讯和更大的存储能力。
        软件方面的优势较难量化，但可能同样重要。比如说可复制性。精确拷贝一份软件是很容易的，“复制”一个人却是个缓慢的过程，而且无法将父母毕其一生获得的技能和知识直接传递给后代。编辑一个数字头脑的代码也更加容易：这使得试验及开发改进的意识结构和算法成为可能。我们能够编辑自己的脑中突触链接的细节——这就是我们所称的学习——但我们改变不了我们的神经网络运转所基于的通用原理。
        我们没有任何希望可以与这些机器脑相竞争。我们只能寄望于通过设计，让它们的目标与我们的一致。找到这么做的方法是个可畏的难题。还不清楚我们能否在某人成功造出超级智能之前解决这个难题。但是人类的命运或许有赖于以正确的顺序解决这两个问题。