把这篇的内容归纳一下，主要有三个观点：第一，人工智能取代人类是一种进化；第二，这种进化是一种无奈，人类很难改变这种进程；第三，人类应该能够接受和应对这种进程带来的后果。

但是，上面说的这么热闹，也许都是多余的，超级人工智能可能远远达不到加里斯预想的水平。加里斯认为未来的人工智能会比人类聪明亿万个亿万倍，这个预测的主要依据是摩尔定律。但是摩尔定律是一个归纳的结论，没有演绎的理论作为基础，所以严格的说起来摩尔定律只是一个经验，不能称为定律。摩尔定律在过去的五十多年里一直有效，但这并不能保证它在未来几十年里继续有效。

客观世界中几乎所有的指数增长都会转变成S曲线，即指数增长有一定的限制。例如寒武纪物种大爆发之后，一直到现在生物物种在“门”的级别上再没有发生过那么大的变化。指数增长产生的主要原因是正反馈，但是当指数增长达到一定程度时，正反馈的形成条件必然会被破坏。例如，原子弹爆炸时，裂变的原子核数的增长，导致裂变时释放的中子数量呈指数增长，进而导致裂变的原子核数也呈指数增长，这是一种正反馈。但这种增长使未裂变的原子数急剧减少，所以正反馈的条件被破坏，指数增长也就会停止。

计算机的运算速度呈指数增长的趋势应该也是某种正反馈造成的，而这种指数增长发展到一定程度时，很可能也会破坏这种正反馈的形成条件，使运算速度的指数增长在某个时候停下来。在计算机发展的过程中，涉及很多技术，任何一项技术形成的瓶颈都有可能让摩尔定律失效。我们对于造成计算机的运算速度呈指数增长的正反馈毫无了解，因此无法保证这种正反馈和指数增长会一直持续下去。加里斯对量子计算机的发展前景非常乐观，但现在量子计算机的基本原理还没有成形，所以加里斯的乐观预测也缺少根据。当然我们现在无法预测摩尔定律什么时候失效，也许它失效的时候，人工智能的水平已经是人的亿万倍了。

  人工智能进化的过程中，还有两个重要的瓶颈。第一，在知识创新的过程中，提出假说的速度可以无限地加快，但检验假说最终必须依靠实践，这个速度不可能无限提高。所以即使超级人工智能真能比人聪明亿万个亿万倍，它们创造有效知识的过程也不可能比人快亿万倍，甚至可能连一百倍都达不到。

  第二，如果人工智能只是比人聪明，而不能比人能干，那么它们对人类就既没有意义也没有威胁。那么超级人工智能会不会比人能干呢？在改造和创造简单系统的时候，人类的智能已经基本够用了，超级人工智能的价值和威胁应该体现在改造和创造复杂系统上面，包括复杂的工程系统和社会系统。要想更有效地改造和创造复杂系统，就必须更有效地预测复杂系统的行为，要想更有效地预测复杂系统的行为就必须建立更有效的系统模型。

现在人类已经建立了很多复杂系统模型，例如世界模型和美国城市模型，但是这些模型预测的结果与实际差别太大，没有多少实用价值。那么超级人工智能是否能建立非常有效的系统模型呢？几乎不能，有两个原因。

1.复杂系统一定都有多重反馈，其中正反馈系统，尤其是混沌系统对于小的涨落都非常敏感，所以预测这些系统的行为几乎不可能。

2.人的大脑现在仍然是一个黑箱，这就意味着无法针对大脑建立准确有效的数学模型。在社会这个系统中，每个人都是一个子系统，如果一个系统模型中包含很多不准确的子系统，那么这个模型当然不可能准确。

如果超级人工智能比人聪明亿万个亿万倍，那么也许它们能克服这两个困难。但是只要它们克服不了这两个困难，它们就不会有多少了不起的才干，它们对人类也就构不成太大的威胁。

  总而言之，各种可能性都存在，那么说这么多有什么用呢？惊心动魄一番，又回到了原点，还是难得糊涂啊。100多年前的一些荒谬的预测现在还经常被人提起。即使是人类最聪明的大脑在预测未来时留下的也大多是让后人感到可笑的言论。但我仍然认为美梦值得憧憬。我们在讲科学，虽然科学也有错误，甚至也有闹剧，但我们还是要相信科学，扔掉了科学，我们将一无所有。“女娲补天”剩下的那块石头，在人间游历一番之后，失望而回，但当初不让它下界，它会天天哭嚎。所以，即使所有的预测、担忧、憧憬都是多余的，我们也应该看到它们的意义，以上这些论述至少可以更明确地表明我对于广义进化的态度——广义进化是正义的标准。

  毛泽东也曾经遇到过如何看待可能性的问题，面对20世纪30年代中国革命的高潮能够很快到来的可能性，毛泽东是这样说的：“它是站在海岸，遥望海中已经看得见桅杆尖头了的一只航船；它是立于高山之巅，远看东方已见光芒四射、喷薄欲出的一轮朝日；它是躁动于母腹中的快要成熟了的一个婴儿。”用这些话来形容超级人工智能出现的可能性也是非常贴切的。