或：为什么停机问题比看上去要难很多？
强人工智能，通俗来讲就是“有自主意识的电脑”/“有灵魂的机器”，简称强AI。
这玩意更多地是科幻小说爱好者们的话题，内容大致是万一这东西实现出来以后社会如何对待强AI，人类在强AI的反叛面前如何自处，伦理会因强AI如何变动等和技术没什么关系的东西。而真正关心技术实现的人，即现代AI研究者，大多数对强AI基本没什么可说的。因为他们研究的是如何用机器实现具体（甚至琐碎）的任务：识别语音的内容并生成回答，给图像加标签分类便于搜索，从海量数据里提取网站用户的特征，等等。机器有意识对完成这些任务根本不必要。再者，这么多年来也没有人弄清楚意识怎么做。
但是，除了上述两类外还有这样一种论调，就是用停机定理说明数字电脑的能力存在严重局限性，所以注定产生不了人类的智能。这观点最早起于哲学家卢卡斯试图将哥德尔不完备性定理用于阐明：自动机不可能像有心灵的数学家一样思考（见心灵，机器与哥德尔）。但用系统的说明令它广为流传的，则是一流数学家和广义相对论大师，史蒂芬·霍金的合作者（但却不是人工智能专家！）罗杰·彭罗斯。此人在他的“心灵哲学”著作《皇帝新脑》中论证：
（1）电脑无法求解停机问题意味着某种严重的局限，而人类却可以跨越这种局限。
（2）人类之所以有这种能力是因为人脑利用了量子效应，具体来讲是因为波函数坍缩是无法用算法描述的过程，所以人类水平的智能永远无法在计算机上完整重现。
彭罗斯的论点听起来很有诱惑力：神秘的量子效应，尤为神秘的波函数坍缩，神秘的人类意识，吼，原来它们是深深联系在一起的！易可赛艇！引导笔者开始关注物理学和意识间（可能存在的）关系的，正是彭罗斯的书。
你们问我兹瓷不兹瓷，我可以回答你们一句：啊！一派胡言！你们还需要好好靴习一个，不要听得风就是雨，将来报道上出了偏差，你们要负责的，识得唔识得啊？
认真地讲，彭罗斯论证的致命缺陷是：人类其实也无法求解停机问题。所谓求解停机问题，指的是对任意的图灵机都能用严格的逻辑步骤推出是否停机的判断，而不是看出程序会不会因为某几个特定的BUG而死循环，或者从运行时间来猜测会不会停机。如果去掉任意性这个条件，把需要判定的图灵机/电脑程序限制在有限的类型内，这种大幅弱化的“停机问题·伪”计算机也能做,例如通过形式验证。可是这当然不表明它和人类一样聪明。彭罗斯认为人类不会为停机问题所困，指的就是人类可以解出这些特例，但是这些特例不代表停机问题的难度。
在原汁原味的停机问题中，是允许使用关联着极其困难的数学问题的图灵机的。我们看下面的表达式
式中n为正整数。很明显，总可以写出一个程序计算函数α(n)，现在考虑这样的算法：
(1)初始化变量n=1
(2)用试除法求出n的所有约数，求总和S（n）
(3)计算α(n)，若S(n)>α(n)，输出n，S(n)和α(n)并中止，否则将n+1赋值于变量n，返回(2)
读者可以从直观上感受出：实现这算法的程序可以非常简单（取决于你所用的语言），根据图灵机的性质，功能等价于这一程序的图灵机当然也存在。
显然，该图灵机/程序会停机，当且仅当存在正整数n使得S(n)>α(n)，而这个条件等价于：黎曼猜想不成立。
（后者的证明细节见于http://arxiv.org/abs/math/0008177）。
故，任何严格判断这个“简单”程序停机与否的推理都必须证明或推翻黎曼猜想。可是黎曼猜想是一个穷尽三百余年来最顶尖数学家的智慧都无法攻克的超经典难题。天才数学家们尚且无能为力，一般人就更不用说了，他们根本无法做出符合停机问题要求的严格判定。
实际上不仅仅是黎曼猜想，很多公认难度极大的数学难题（例如尤为天朝民科钟爱的哥德巴赫猜想）都存在着对应的程序/图灵机。要判定这些图灵机的停机性，就等同于求解这些数学难题。
这解释了为什么虽然“判断一台抽象的机器会不会停”给人以任务非常简单的印象，但这完全是错觉的原因。其实停机问题的难度比大多数你能想到的数学难题高出了不知多少个华莱士的高度了。
我们一般人虽然有强智能，有自主意识，但是并不是很擅长数学，别说黎曼猜想了，就连高数线代都有这么多人嚷嚷着挂科。可见拿计算机解不了停机问题来说明强AI不可实现，如同说：“博尔特跑不到光速，所以博尔特赛跑赢不了我，打星际就当然更赢不了我了”（除非你是香港记者）
最后做一下额外说明：为什么这里还提到了哥德尔不完备性（见上文卢卡斯的论证）？如果目的是说明计算机的局限性，诉诸哥德尔不完备性定理和诉诸停机定理其实是等价的。通过在图灵机和形式命题间构造适当的对应关系，可以从停机定理推出哥德尔第一不完备性定理（严格来讲是它的弱形式，原始的定理不要求公理系统是可靠的，只要求它是自洽的，但此区别在这个场合不重要），或者反之。哥德尔不完备性定理常被误读为“在数学中也存在着不确定性”，这一点却容易被人忽视：如果形式理论并非递归可枚举（条件等价于：可以为理想的计算机所枚举），哥德尔的定理是不适用的。换而言之，除非假定人脑的能力不强于计算机，那么根本就不能将哥德尔不完备性用于限制人类对数学的认知，更不用说人类的理性了。这点哥德尔本人是非常清楚的。
因此，所有用哥德尔不完备性定理来限制AI的说法，和用停机问题的不可解性一样，基本是不靠谱的。
那，停机定理对于强AI的意义到底是什么呢？停机定理是可计算理论的关键性工作，其思路启发了其中不少其他定理（如空间层次定理）的证明并引导人们去关注不可解问题的意义，可计算理论是计算机科学的基石之一，人工智能是应用计算机科学的一个领域，这个领域将来有可能研发出强AI。嗯，它们间就这点联系，这关系大概就值半毛钱。
