魔像（golem）是被赋予人形的无生命体，由于它只据字面意思来听从指令，因而摧毁了它的创造者。
科幻小说里的超级智能电脑总是以两种形式出现：一种是无害，声音冷静的好帮手，或者另一种可怕、令人不寒而栗的怪物，企图毁灭所有生物。后者一定会在小说中被一群知道“爱”真正意义的勇敢人类打败。不过在尼克·博斯特罗（Nick Bostrom）看来，这两种预言未免太过乐观。
创造人工智能常常被视为一种古怪追求。不过，博斯特罗认为，这将是人类历史上最大的变化，这或许将导致人类历史的终结。
博斯特罗在新书《超级智能》（Superintelligence）中给出的许多警告，听起来就像是古代犹太人神话中的魔像（golem）。魔像是被赋予人形的无生命体，由于它只据字面意思来听从指令，因而摧毁了它的创造者。要是我们创造了一个比我们更加聪明的机器来听从我们的指令，甚至无需花大力气来界定我们的命令是什么，那么这种机器将以一种最惊人的方式产生事与愿违的结果。（这本书开篇就是一群小麻雀的比喻。它们说，真应该找到一只小猫头鹰，将其抚养长大当仆人。）
博斯特罗想象，创造了一台机器，有着表面看来毫无危害的终极目标：比如计算出尽可能多的π的数字，或者制作回形针。怎么会有危险呢？不过要是没有进一步的指令，这些机器可能最终将整个太阳系和周围所有东西都变成计算的材料，让它计算π更快。或者这台机器将把地球摧毁，全都制成回形针。我们没法变成电影《终结者》中的莎拉·寇娜（Sarah Connor）来阻止它，因为这台机器比我们更聪明。
甚至一台只回答问题的智能机器人也不安全：它可能决定为了完成答题的终极目标，它必须用自己的存储体和处理器来充满整个宇宙，才能更好地答题。或者这个机器人干脆就毁灭宇宙中让它回答复杂问题的东西即我们人类。它将用一些更简单的东西来替代我们。即使我们没有让机器创造实质东西，仅仅让它把答案显示在屏幕上，博斯特罗也警告说，它仍旧比我们要聪明多了，轻而易举就能够糊弄愚蠢的人类，将它从监狱中释放出来。
一台逗人类开心的电脑，或许会绕过那些麻烦事，直接让我们吸毒就行——任务完成。困难将会慢慢将人类的道德价值观灌输到机器上。我们差不多花了3000多年来争论人类道德价值观，目前仍旧看不到尽头。既然如此，想要制作一台真正聪明的电脑是一个大工程，而不是一个相对直白的任务。
这本书存在两个问题。首先在某些地方有着神学感觉：理论大厦建立在了一小撮数据基础之上。这不是一个“有多少天使能够在大头针上跳舞”的问题，而是时不时当博斯特罗在讨论由超级智能电脑运行的世界经济将会如何时（他描述了，存储人类大脑拷贝，仅让机器工人使用一天，并且在交接班时消除记忆），就感觉更像是在阅读一本虚构小说，而不是一本讨论未来可能性的严肃作品。
第二个问题就是语言。或许这是唯一一本我读过封面和前言明显自相矛盾的书籍了。“行文条理分明，让所有都清晰易懂，”这本书的防尘套上写道。“我试图把这本书当作一本易读书籍阅读，不过我觉得自己没有成功。”另一位作家在前言中说道。有幸我可以在这里解决这个争论：这是一本相当难读的书籍。
不过这并非是一句批评。大多数通俗的科学书籍受追捧是能够用简单语言来阐述复杂问题，在艰涩事实中加入了一些甜味剂。但本书并不能视为通俗科学书籍；这是一本哲学论文，应该这样阅读。
然而因为这本书着眼大问题，让你感到值得一读。总的来说，我能理解作者在文中想要表达的内容。但是他假设自己的读者也学识渊博：如不打招呼文中就会出现“享乐主义的后果论”。
要是你正在寻找一本读起来轻松愉快介绍人工智能的书籍，或许这本书并不是入门书。不过要是你对这个话题感兴趣，也准备好了需要一些脑力来思考，这本书会让你收获颇丰。
书名：超级智能（Superintelligence） 作者：尼克·博斯特罗 出版者：牛津大学出版社 出版时间：2014年8月