关于人工智能，一个广为流传的说法是：“弱人工智能并不可怕，强人工智能才是可怕的。而至少目前看来强人工智能是遥遥无期的，所以现在就担心人工智能的危害还为时尚早。”之前我也有类似的想法，虽然我并不认为弱人工智能就完全没有危害，但基本处于可控的范围内，至少不比核武器或者病毒之类更危险些。

这两天我闲来无事，仔细想了想相关问题，又看了一些资料，突然发现事情和我之前想的有很大出入。不夸张地说，弱人工智能比强人工智能更可怕一些。我想很多人已经意识到了这一点，才对人工智能如临大敌的。

这里就不提“弱人工智能”和“强人工智能”的定义了，简单说，弱人工智能会“忠实”地完成（人类给它的）任务，而不会有任何其他的“反常”行为。而强人工智能的行为有更多的自主性，具有更大的不可控性。

我的核心观点是，当你命令一个比你聪明的机器完成某个确定的任务时，你是无法预料到它会使用怎样的方式来实现的，而某种实现方式很可能在你还没有反应过来时就产生了无法挽回的副作用。

这让我想起了雅各布斯的《猴爪》，或者我可以编这样一个比较俗套故事：

A某天意味获得了一个魔镜，魔镜告诉他可以以许下任何愿望，它都可以将其实现。A大喜，然后许愿希望自己可以得到足够他后半生使用的钱财。刚许完愿，一则新闻从电视机传出，某航班飞机失事，所有乘客无一生还，而A的妻子正是其中之一。妻子所在的公司为出差的妻子投了数额可观的商业保险，保险赔偿足够A后半生使用了。A和妻子相亲相爱，之后A懊悔不已，从此一蹶不振，同时对魔镜恨之入骨，打算将其扔掉而不再许任何愿望了。

邻居B听说此事，立即找A要走了这个魔镜。他当然听说了A的故事，但仔细考虑后发现并非无利可图。于是他许下了这样的愿望：我想要得到足够后半生使用的钱财，同时自己和所有的亲人朋友身体健康长命百岁。想必这回不会有任何差错了。第二天B在自己的院子了发现了一个藏有大量现金的包裹，大喜过望。正当他数钱时，几个警察破门而入。原来他们正在查一个涉案数额庞大的盗窃案，得到线索后立即赶来，逮捕了B。因为种种原因，B被认作小偷的同伙被监禁了十几年。等被释放出来时，B已经心灰意冷，整日在街头流浪，然而身体却很健康从不生病，直到百岁时寿终正寝。

在B被逮捕后，B的朋友C就盯上了那个魔镜……

那么，如果有一天你得到了这个魔镜，你是否能许下一个无懈可击的愿望呢？

当人类给比自己聪明的机器下命令时，面临着相同的问题，虽然我还没想好一个比较切实的例子。我试举一例：

将来的某年，人类发现大气层中的臭氧越来越少，照射到地面的紫外线已经对人类的健康产生了很大的威胁。于是派一些机器去大气层，用人类已知的方法填补臭氧层，但效果甚微。因为机器是有智能的，于是人类给它提供了大量的信息，供机器产出更好的方法，同时可以实地验证效果以加快进度。谨慎起见，科学家们每时每刻检测着机器传回的数据以及大气层的各项指标，同时时刻准备在发生任何异常时给机器发送终止指令。

几天时间内，机器做了数百万次的实验，依然没有发现任何有效的方法，科学家们也有些松懈了。直到某一天突然大气层中某种化合物的含量急剧升高，这种化合物人类前所未见，它吸收红外线的效果异常显著，并且在吸收红外线过程中会引发连锁反应，制造出大量相同化合物。科学家们连忙终止机器的工作，并获取到该化合物样本，寻求解决方案。但在方案产生和成功实施之前，该化合物已经布满了地球上空，地表温度慢慢降低到零下几十摄氏度，人类文明就此结束。

这似乎是科幻小说中才有的情节，也许不可能在现实中发生，但难保某个相似版本在未来发生，而且是不远的未来。

也许某些人认为弱人工智能不会比人类聪明。其实发生这样的事情，无需机器的智力全方面超越人类，只需要它在解决某个特定领域问题的能力超过人类就行，而现在电脑在某种程度上就可以做到这一点。现在类似这样的事情不大可能发生，很大程度在于人类还没有委任智能机器这样的重任，机器也不可能在任何情况下产生不可挽回的后果。但随着人工智能的发现，智能机器所承担的角色和所做的事情毫无意外地会越来越重要。

可以说，如果弱人工智能出了问题，只能是人类自身的“失误”导致的。但仔细想来，这种“失误”的含义远比字面上的深刻。人类如何能做到不允许这样的“失误”产生。

当我们以人工智能发展的角度看，人工智能可能刚刚起步，以后还有很长的路要走。但如果从人类文明的角度看，有可能终点就在不远处。

将来会发生什么，只能拭目以待。