读书|《数据统治世界》:像数据科学家一样思考

Numbers Rule Your World

我们生活在一个数字化的时代。工程师如何计算您的生活质量,企业如何确定您的需求,政治家如何预测您的意见。这些数字你从来没有想过,即使它们在你生活的每一个方面发挥关键作用。

美国纽约大学统计学教授冯启思(Kaiser Fung)所著《数据统治世界》一书,虽然副标题是“The hidden influence of probability and statistics on everything you do”(译者曲玉彬将此译为:如何在数据统计中挖掘商机与做出决策,也许是为了吸引眼球),但书中并未涉及太多概率论和数理统计方面的知识,而是揭示了五种统计式思维。统计式思维跟我们的日常思维截然不同,而且是一种通过学习就能获得的技能。书中每种思维方式都采用一组案例,介绍在数据应用方面的专业人士是如何利用统计原理来改善我们的生活。

关注异常值,而非平均数本身。数据专业人士对平均数这个流行概念并不感冒,他们关心的是平均数周围的变异,总要询问一下变异性,对平均数的任何偏差情有独钟。他们反复考虑变异的程度有多大、发生的频率有多高,以及变异存在的原因是什么。比如,研究排队问题的人要减少人们的不满和愤怒,单从缩短平均排队时间上考虑效果并不明显,一定要关注那些造成个体等待时间偏离总体平均时间的因素。

相关性比因果性更重要。我们不必为变异寻找一个合理的解释,出现异常的好处是可以从事实中发现有用信息。数据专业人士很乐意观察两件事物之间存在的相关模式,他们擅长根据某些知识、经验对未知作出有根据的推测。因果关系不是唯一最有价值的目标,基于相关的统计模型可能更有用处。疾病暴发模型把原因和结果联系起来告诉我们为何有些人会发病而另一些人则全然无事,信用评分模型识别相关特征用来描述哪些借款人最可能拖欠贷款而哪些人不会。

对数据进行分层,同类之间进行比较。统计平均数掩盖了各组间存在的重大差异,忽视这个差异通常预示着将来的不公平对待。而常用的分组方式,通常是有缺陷的。书中重点分析了SAT考试的设计者为消除黑人和白人在考试表现上的悬殊差距所做出的努力以及由此所带来的后果。

要对基于统计的决策进行微调,寻找假阴性和假阳性两类错误之间的平衡。假阴性和假阳性两类错误的代价是不等价或者说非对称的,一种类型的错误是高度公开化和高危害性,而另一种确实鲜为人知的。比如运动员药检,假阴性是看不见的,除非滥用药物的人自己承认,而假阳性却会遭到公众的嘲笑与蔑视。这个原理解释了为何自动数据挖掘技术不能既可以识破恐怖阴谋又不会带来令人难以承受的附带性破坏,为何类固醇实验室在抓捕大多数舞弊运动员这件事上工作不力。

不要以为稀有事件会发生。从统计学的世界观来看,小概率事件意味着不可能,正如头奖之于做梦者,飞机失事之于偏执狂。重视小概率的力量,一些精心选择的数字要比几十万杂乱无章的数字所描述的内容要更为丰富。统计学家们接受的训练使他们相信极端事件是不可能发生的,因此他们不惧飞行,也不玩彩票。

我们的世界已经被各种各样的数据统治者。对普通人来说,重要的不是掌握那么复杂的统计技术、分析方法,而是掌握一种数字化的生存方式:运用统计式思维经营人生,解读身边发生的大事小情,做一个不被数据蒙蔽双眼的现代人。如果我们在日常生活中知道如何使用数据做出决策,知道如何不被数据忽悠,那就掌握了自己的世界。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,999评论 4 368
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,102评论 1 302
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,709评论 0 250
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,439评论 0 217
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,846评论 3 294
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,881评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,062评论 2 317
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,783评论 0 205
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,517评论 1 248
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,762评论 2 253
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,241评论 1 264
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,568评论 3 260
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,236评论 3 241
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,145评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,941评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,965评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,802评论 2 275

推荐阅读更多精彩内容

  • http://data.qq.com/article?id=2932 最近KDnuggets上发的“20个问题来分...
    Albert陈凯阅读 1,030评论 0 4
  • 满江红 凛凛冬风,又吹遍,千山暮雪。但遥想,剑指楼兰,弓如满月。胸涌巨浪吞云梦, 铮铮男儿志如铁。济天下,有三分侠...
    冥城新秀阅读 257评论 0 3
  • 星期五 离开欺骗 第五、最好不相爱 如此便可不相弃。重门深居?难独上画楼西 (四十一) 黎昕告诉我他在杂志社上班,...
    初归a阅读 260评论 0 0
  • 1,从本篇文章中我学到的最重要的概念 我们要学会倾听,这是对别人的尊重 2,我在本片文章中学到的怦然心动的单词 f...
    17数420孙佳昕阅读 183评论 3 1