15【读书时】大数据时代

[英] 维克托.迈尔-舍恩伯格 肯尼思.库克耶  著  盛杨燕 周涛 译

浙江人民出版社

大数据时代

最近一直在看大数据类的书籍,记得很久之前看过这本书,感到对这本书有点陌生了,于是在书柜了翻出来再细细读了一遍,读完感觉又和以前的理解不一样。今年大数据一直是比较热门的话题,身边一直都能感觉到大数据在生活中的无处不在。衣食住行这些生活的元素已经在不断的渗入越来越多的数据信息,并这些信息得到收集,很多数据也已经产生新的社会概念,影响着一代的人,所以大数据不是未来,因为已经到来。

这本书的结构还是体现着理工男的逻辑思维模式,按照总分总的标准格式书写,先提出大数据的现状和整书的概述,然后分开三个方面,围绕着大数据的思维变革、大数据的商业变革和大数据的管理变革来进行分析,最后对大数据的未来做出预测和评价。书内例子和个案很多,也有很多有趣的商业故事,行文不乏枯燥。

一、思维变革:在我们达到目的地之前,我们有必要了解怎样才能到达。

要理解大数据真的要首先有大数据的逻辑思维,因为大数据已经变成形态的时候,她自己内部就会有自己的规律。要控制或利用大数据,首先肯定要先改变以往的思维模式,包括很多统计学,因果关系等传统的逻辑关系,因为这些在大数据中有些是不适用的,甚至是和原来的推导的结论完全悖论。下面就是书中所说就是三个最主要的大数据思维。

1、不是随机样本,而是全体数据

记得以前在学统计学和自己做研究的时候,抽样随机对照就是一种非常经典的实验方法,这是源于人类无法获取全部数据时发明出来的一种统计学方法。但那时候我就一直有些疑问,比如血红血胞的正常值就是通过抽样统计出来的,就是在一个城市里抽取一定量的血液标本进行检测,从而推导正常值的标准。这样能如何保证抽取的样本时均衡的呢?但这是在全体数据获得困难时所采取的方法。但大数据不一样,因为她记录的是全部的数据,无一漏掉。

由于能记录的是全部数据,所以我门用的也是全部数据,也就是说,我们现在可以更关注的是整体,而不是部分。这对我门建立数据分析时很重要,因为这种整体的数据模式将能展示事情的全方面,也要求我们在设计时把整体的概念融入实践中。

2、不是精确性,而是混杂性

在做研究项目或写研究报告的时候,有一项是必须要做就是“排除标准”,就把一些不符合的条件的样本,或者达不到标准的样本去掉。 但在大数据时代这些将不再需要考虑。这里讲的混杂性就是允许数据里的缺失或参差,并在大数据运用中不再关切道精确的程度。

这里所说的混在性,并不是说精确性不重要,而是大数据欣赏的是不精确而不会假装精确。这也并不代表系统不知道正确的数据是什么,只是当数量规模变大的时候,确切的数量已经不那么重要了。这就会使“一个唯一的真理”的观念得到彻底的改变。所以随着大数据技术成为日常生活中的一部分,我们应该开始从一个比以前更大更全面的角度来理解事物,也就是说应该把“样本=总体”植入我们的思维中。

3、不是因果关系,而是相关关系

我们理解和解释世界各种现象时会使用两种方法:1、快速虚幻的因果关系2、缓慢有条不紊的因果关系。这两种就是所说的人类的快慢思维,但都会有有一个基础“因果关系”。人类都很习惯这种因果关系的思考模型,但大数据会改变这两种基本方法在我们认识的世界时所扮演的角色。

在大数据下,我们知道是什么就够了,没必要知道为什么。建立在相关关系分析法基础上的预测是大数据的核心。这个系统依赖的是相关关系,而不是因果关系,系统只是告诉你会发生什么,而不是为什么发生。事实上,通过去探求“是什么”而不是“为什么”,相关关系能帮助我们更好地了解了这个世界。但这也并不意味着要否定因果关系,因果关系还是有用的,但是它将不再被看成是意义的来源基础。相关关系分析通常情况下能取代因果关系起作用,即使不可取代的情况下,它也能指导因果关系起作用。

二、商业变革:传统行业最终都会转变为大数据行业。

大数据能持续走下去,价值的不断提升是主要原因。特别是在商业中,大数据的价值更是在不断的发掘。而数据缠产生价值的核心是量化,即所有的变成数据。比如把方位量化,把文字量化,把沟通量化,变成数据,然后就产生了导航、电子书、社交平台这些 新的商业行业和模式,并产生巨大的互联网产业链。这些产业都是以数据作为基础,一切都是围绕着数据进行实施。数据的商业价值在于创新,包括:数据再利用、重组数据、可扩展数据、数据的折旧、数据的废气、开放数据。

由此,作者根据大数据价值链的3大构成,数据、技术与思维的三足鼎立,划分了三类互联网大数据公司。1、基于数据本身的公司,如:Twritter;2、基于技能的公司,属于技术分析类公司,如:天睿公司(Teradata);3、基于思维的公司,通过想法获得价值。这三类公司也构成了互联网商业的基础生态。

至于传统行业变成大数据行业,也许就真的是只剩下时间的问题。

三、管理变革:不能让大数据的发展超出我们可以控制的范围

这个章节是自己比较关心的一部分,大数据展示在世界中的时候,我们将如把自己的衣服脱得一件不剩展现在世界中,我们的隐私怎么办?如果大数据走向智能,人类该如何掌控?我们在享受的大数据的便利的时候,是否也逐渐陷入大数据的威胁当中?书中也做了管理控制的论述。

1、个人隐私的保护

目前我们的每天产生的数据是以TB的量级计算,而这些数据代表着我们每一个人内在和外在的所有信息变化,但这些数据是暂时无法保护的。特别是大数据的二次使用过程,这里面所产生的个人信息统计和汇总,经过数据的再次分析和预测,我们将彻底表露无遗。在互联网时代,不管是告知于许可,模糊化还是匿名这三大隐私保护策略都会失效。如今很多用户都觉得自己的隐私已经受到威胁,当大数据变得更为普通的时候,情况将更加不堪设想,但目前确实是没有什么好的方法可以避免。但其中有一个方向我个人觉得是对的,从个人许可到让数据使用着承担责任,并设定使用时限。

2、预测分析不能判罪

大数据最大的价值就是预判,就是综合样本数据后对未来的走向进行预测。在有些行业是值得推广的,但当预测用于预测犯罪时,判别的性质就开始改变了。就是说,你未开始犯罪,根据预测就可以定罪。有一部电影《少数派报告》说的就是类似的概念。大数据的预测给我们带来的威胁,不仅仅局限于司法公正上,还会威胁到任何大数据预测对我们未来行为进行罪责判定的领域,比如民事法庭案件中判定过失以及公司解雇员工的决策。所以绝不能因为大数据的分析预测它们可能犯罪,就判定它们有罪。

3、数据审计师

我们看到大数据的预测,运算法则和数据库有变成黑盒子风险,而这个黑盒子不透明、不可解释、不可追踪时,我们会对这些数据逐渐信心全无,也许我们就是需要大数据算法师。这是一个新生的行业,这类新型的专业人们对数据进行监管服务,他们将帮助社会大众增加对数据的信心。

4、反对数据垄断

为了促进大数据平台的良性竞争,政府必须运用反垄断条例,就像世界上一些大数据拥有者那样,政府也应该公布其数据。

四、我的看法

大数据不是口号,是已经来到身边的未来,尽管还有很多的不完善但从没停止前进的步伐。改变和威胁是一直并存的,这将影响一代一代发展的方向。

没有什么是上天注定的,因为我们总能就手中的信息制定出响应的对策。大数据预测结果也并非铁定,而只是提供了一种可能性,也就是说,只要我们愿意,结果可以改写。

大数据提供的不是最终答案,只是参考答案,为我们提供暂时的帮助,以便等待更好的而方法和答案出现。这也是提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268