现在有些学者提出，人工智能的发展可以分为三个阶段：弱人工智能Artificial Narrow Intelligence (ANI)，强人工智能Artificial General Intelligence (AGI)和超人工智能Artificial Superintelligence (ASI)，但他们的划分标准并不完全可取。我的划分标准是：在弱智阶段，人工智能还没有超越人类智能；在强智阶段，人工智能超越人类智能的幅度不大，人类还可以控制人工智能；在超智阶段，人工智能远远超越人类智能，人类只能接受人工智能的统治。本章和下一章分析弱智和强智阶段人类控制人工智能的方法，从第4章开始分析超智阶段人类应该如何看待人工智能。

  即使机器人真的比人聪明亿万倍，这种机器人也不会在一夜之中产生，总会有一个过程。加里斯说人站在未来人工智能面前就像蚊子在人面前一样，但人与蚊子完全不同，与牛、马也完全不同，人能预见到各种潜在的危险，一旦人预见到危险就会想办法防患于未然。所以在强智阶段等不到机器人有足够的能力灭绝人类，人类就会先下手。

  先下手不是指消灭所有的机器人，而是消灭那些对人类有害的机器人。有害的机器人那么聪明，人怎么可能消灭他们呢？机器人不止一个，也不是都一样。人一定能造出很多善良的机器人，人做不到的事情可以让他们去做。

  加里斯认为，为了制造超级人工智能，必须使用“变异－测试－选择”的进化工程方法，没有第二种方法，这种方法得到的人工智能的行为不可预测，而且它们会出乎意料地爆发成超级智慧，因此难以为人控制，就连出厂前的测试都不可靠。

  加里斯的这种说法不正确，人工智能的“变异－测试－选择”的程序是确定的，选择的标准也是确定的，对于现有的人工智能来说，这些程序和标准都是人为设定的。“变异－测试－选择”的结果是可读的比特串，人可以随时调出所有的数据，所以整个人工智能是一个白箱。要了解白箱的结构与功能之间的关系非常容易，就像了解汽车的部件结构与性能之间的关系一样。物理学的主要用途就是了解白箱结构与功能的关系，虽然这是科学家们几百年努力的结果，但这毕竟是可能的。人的大脑至今仍然是个黑箱，我们无法了解大脑的确切结构和功能。既然人工智能是白箱，那么人就可以像控制任何一台机器一样完全控制它们。

  那么怎样了解这个白箱呢？我们先通过进化工程方法让人工智能输出一个信息，例如“前进”，这时我们读取每一个神经元的权值，这些权值构成一个集合。如果人工智能由10亿个神经元组成，这个集合就有10亿个数值。然后再得到一个“后退”集合，这时我们可以把这两个集合进行比较。比较20亿个数值是不是很难？不难，只要编一个很简单的程序，计算机就可以很快把这件事做好。通过比较可以发现，“前进”集合与“后退”集合有什么差别，这种差别一定不大，可能是100个数值的差别，或者是1000个数值的差别。其实这就是科学实验的一般方法：控制实验条件，进行对比分析。因为人工智能是个白箱，可以随时观察，因此可以应用科学实验和对比分析的一般方法理解它，而对于人的大脑就不行。

  通过多次进行这种比较，我们就可以完全理解人工智能。我们可以了解“忠实”集合与“欺骗”集合的差别，“保护人类”与“毁灭人类”的差别，当我们对人工智能产生怀疑的时候，就把有关的神经元数值调出来察看，也可以随时监督这些神经元的取值。还可以输入一些命令，把“忠诚”、“保护人类”等作为优选数值，把“欺骗”、“毁灭人类”等作为禁取数值，这样就可以实现对人工智能的控制了。

对于概念的解释就是用已知的概念表示未知的概念。对于某一类事物的解释首先要找到这类事物的共性，然后用已知的概念去表示这种共性。对于某一个具体事物的解释则是找出这个事物与其他各类事物的关系。不够完备、不够彻底的解释往往也能使人理解，人还不知道生命的定义和本质的时候，人们就能用生命这个概念去解释动物、植物和很多其他事物；人们没有解开人类的起源之谜，也不知道智慧的本质和来源，但人们知道什么是男人、女人、凡人、神人。当人类面对一大堆神经元权重数组时，人们不需要了解每一个权重的含义，只要在两个或多个数组之间做些比较往往就可以理解它们了。

一个外行人不懂C语言，看不懂程序，但可能会看懂程序的框图。框图就是对程序的解释，因为框图使用的符号都是外行人知道的符号。人工智能的内部结构是个白箱，人类完全可以把它的结构用一些形象的符号表示出来。

机器人的进化需要自主创新，自主创新会有很多错误，像人一样有时会钻牛角尖，会偏执，还会产生邪念。机器人的错误会给人类带来灾难。例如，某个做蛋糕的机器人突然失去理性，为了做蛋糕不顾一切，把所有的动植物和所有的人都拿来做蛋糕。但是在弱智和强智阶段，人类有能力控制机器人，可以检测机器人创新的每一个成果，预测这些成果会对人类有什么危害，从而及时采取措施避免危害。对机器人要有严格的管理，不仅需要军队、法庭、监狱这类暴力机关，还要做深入细致的思想工作，每天都可以把机器人的心挖出来看看。