×

逻辑谬误 -- 幸存者偏差

96
高黑 08a930cf 2e58 49bb 8fb9 07f748c0f5e9
2017.04.02 07:02* 字数 2690
Survivorship Bias

幸存者偏差是一个典型的人类认知思考的逻辑谬误,其论证过程是这样的:

一组人A做同样的事,有的实现了B ,有的没有。实现B的人群A1,具备C,没有实现B的人群A2,不具备C。

如果A=A1+A2,A1/A的百分比足够高,我们一般会倾向于认为C和B有高度相关性,甚至可以简单的认为C是B的原因(严谨的证明还需要更多的步骤,不在这里讨论)。

但是由于某种原因 ,导致A2是缺失的 (A2=0),或者严重不完备(A1+A2远小于A),那么无法推导出C是B的原因。此时如果坚持认为C是B的原因,就属于幸存者偏差逻辑谬误,又叫沉默的证据或者死人不会说话。

幸存者偏差本质上是一种取样偏差(有效的取样应该是完备且随机的),我们更多的关注那些成功者 ,忽略了倒霉蛋,从而做出了错误的判断,甚至得出了荒唐的结论。

我们来看几个例子:

淹死的拜神者

2000多年前,罗马思想家、政治家西塞罗讲了下面的故事。有个人将一幅画给一个无神论者看,画上是一群正在祈祷的拜神者,他们在随后的沉船事故中幸存了下来。其寓意是:虔诚祈祷能保护人们不被淹死。无神论者看了后,问:“那些祈祷后被淹死的人的画像在哪儿?”

这个故事的逻辑推演是这样的:幸存者(A1)都向神祈祷了(C),而且没被淹死(B),所以祈祷可以保证不被淹死。这里的问题是,如果有相当数量的A2,也做了同样的动作(C),但是没有活下来,那就无法证明C是B的原因。现在A2已经死了,他们不会出来说自己有没有祈祷,因而至少说这个归因关系是存疑的 。只有当A2都没有祈祷且淹死了,才有可能证明C是B的原因 。

塔勒布在他的《黑天鹅》一书中说 ,大部分思想家试图让他们之前的人感到羞愧 ,西塞罗却几乎让他之后的所有经验主义思想家感到羞愧。

可疑的成功学


成功学

其实不仅仅是机场书摊上的成功学书籍,就连商学院MBA的教程里,也充斥着幸存者偏差。

所有成功学的论证过程是这样的:因为这些企业或个人A1,具备了一组特质或者做了一系列特殊的事情C,从而实现了成功B,所以C就是成功经验,你们只要也做C,就会实现B。

A2呢?A2都失败了,有的倒闭了,有的破产了,有的不再创业了,我们没有A2的信息。马云写一本我和阿里巴巴的故事,可以洛阳纸贵,易趣出一本我们怎么搞砸了电子商务的,估计没人看。易趣还算是当年的著名企业了,更多的公司根本无人知晓。

这里不是否认成功经验,成功经验肯定是有的,否则人类文明不会进步了,但是要提醒的是,成功经验的萃取是非常复杂的,需要大量的专业分析和足够多的样本,甚至有时需要长时间的验证才能确定因果关系。鸡汤类的成功学是忽略了这些过程,只是简单的给你呈现了A1具备C。

如果我们把失败者A2都找到,发现失败者也具备C特质,成功者和失败者唯一不同的是,他们有更好的运气 ,那我们就只能把成功归因为运气,而不是C。当然,这个只是可能性之一。

有品味的老建筑

外滩

很多城市都保留一些老建筑,上海的外滩、北京的故宫、苏州的园林,不禁让后人感叹,建筑师的水平真是一代不如一代了。

但实际上这些保留下来的老建筑很可能就是因为其设计水平高而被保留下来的,大量的水平差的A2早就被拆掉了。仅仅根据A1,无法推导出所有的A都是有品味的。

类似的例子还有:古代的家具就是结实,现代的越来越差了。古代的纸墨就是好,几百上千年都能不腐烂。古代人真厉害,流传下来的字写的真好,每个人都是书法家。

踢足球真赚钱啊

足球高薪榜

上图显示的是2016-2017赛季全世界薪水最高的足球运动员。我们可以看到,他们每个人都是亿万富翁,光年薪就超过了1000万英镑,这还没有包括他们的广告收入。其中上海申花队的特维斯,其年薪更是达到了令人眩目的3200万英镑,约合2亿7000万人民币

但是仅仅依靠这张榜单(A1)无法得出“踢球能致富”的结论。根据世界运动员工会 Fifpro公布的调查数据显示,全世界足球运动员的月薪中位数介于1000美元和2000美元之间,其中大约有41%的足球运动员被拖欠薪水。其实,在这么多足球运动员中,只有一小部分(A1)有幸挤入顶级职业联赛(比如英超或者中超)的人,其收入才会高于普通人,而绝大部分运动员(A2),其收入是很差的。

这个现象在几乎所有明星类的职业里都有,电影明星、畅销书作家、歌星,都是类似的情况,少数成功者A1获得了巨额收益,广大的A2活在生存线的边缘,仅仅依靠明星的收入榜单,无法推导出这个行业是高薪的。

在哪里加厚装甲?


飞机弹孔分部

这个二战英国飞机的故事,被很多人认为是幸存者偏差这一说法的源头。

为了提高飞机防御能力,挽救更多的飞行员和飞机,军方建议根据返航飞机的弹孔分部情况,在密集部分加厚装甲。这个最初的想法,其实错的离谱。这些飞机A1,有弹孔C,实现了返航,没有被击落B。问题是我们要做的是防止被击落啊,那我们更应该看样本A2,看被击落的飞机都是哪里中弹了。不过稍加思索就会发现这是一个不可能完成的任务,被击落的飞机都化成灰烬了,就算能找到一些残骸,也很难得到足够完备的信息。

当时美军统计研究部的统计学家亚伯拉罕·沃尔德(Abraham Wald)拒绝了这一建议,他提出应该在弹孔不密集的地方做文章 ,因为很可能这些地方中弹就坠落了,以至于返航的飞机上看不到这些弹孔。当然 ,他如果就是这么抖机灵、脑筋急转弯一下,也就是不是统计学家了。此人当时也算小有名气的学者了,诺贝尔奖经济学奖得主弗里德曼,为美国海军研究炸弹试验方案时,卡在一个统计学问题上,就是求教这位老兄才解决的。弗里德曼把这段经历写入了自传,称赞道:“他(沃尔德)是一位杰出的统计学家,为统计学做出了创造性的贡献。”

沃尔德实际上是经过了大量的周密的模拟和计算,在A2信息严重缺失的情况下,推导出了应该在驾驶舱加固装甲。后来的实战效果很好,挽救了很多飞行员的性命。相关论文参见:https://people.ucsc.edu/~msmangel/Wald.pdf,或者知乎上搜索相关的论证。

说了这么多,那怎么做才能消除,或者克服幸存者偏差呢?

1、尽可能的寻找A2的信息,如果A2也具备C特质,那说明C特质不是原因,不是成功经验。如果A2不具备C特质,那至少说明C和B有相关性;同时A2所具备的D特质,则往往可以确定不会导致B。说人话:多听失败者的经验,哪怕不知道怎么成功,也别掉坑里。

2、A1的样本数越多越好,A1可以实现B的次数越多越好。换言之,一人成功经验是特例,多人就有共性;单次成功有运气,多次成功真功夫。当然,多次成功者也可能是冒险王,也是幸存者,但是相对来说概率要小很多。

3、信息论告诉我们,要想降低不确定度,只能通过引入更多的信息来降低熵。所以兼听则明,多听不同意见,尤其多看一些专业学者的文章,一般专业的研究都必须考虑样本数量和因果论证。

4、如果A2信息的确不足,A1样本也的确有限,怎么破?观察反馈,随时反思,适时纠偏。本质上,这个方法可以用来破解任何认知偏差 -- 你要不断的观察你的选择是否正在帮助你实现目标,没有的话,你必须反思你的选择是否正确。

认知升级
Web note ad 1