1. 前言--人类的胜利
2016年3月12日Alpha Go 3:0 击败围棋冠军李世石，标志着人类开启了人工智能时代。Alpha Go的胜利的基础靠的是大数据和机器学习算法，而非采用1997年IBM深蓝战胜国际象棋冠军卡斯帕罗夫的逻辑推理方法。
几十万盘的高手对弈数据 + 将围棋的当前状态抽象成获胜概率的数学模型 + 蒙特卡洛树搜索算法限制搜索空间 + 几十万台服务器的模型训练支持。
很多人担心未来拥有自我意识的人工智能会控制甚至毁灭人类，相当一段长的时间内看，这种担心是没有必要的，目前我们对机器智能、大脑的工作原理、意识和情感等方面的认识还十分原始。虽然不会被机器人控制，但98%的人面临被取代的危险，未来只属于2%的从事创造性劳动，或者控制机器智能的人，而掌握某种技能、做重复工作的人终将被淘汰。
2. 数据--人类建造文明的基石
如果我们把资本和机械动能作为全球近代化的推动力的话，那么数据将成为下一次技术革命和社会变革的核心动力。
数据是文明的基石，人类对数据的认识和利用程度反映了文明的程度。
数据和信息不同，并非所有数据都承载有用的信息。知识比信息更高一层，也更加抽象，具有系统性的特征。
- 如测量星球位置的数据和对应时间属于数据，从数据中得到的行星运动轨迹为信息，对信息总结和抽象得到开普勒定律便是知识。
对自然现象的观察是早期人类获得的数据的主要方式。
- 如古埃及人靠观察每年天狼星和太阳同时出现的位置，来判断节气和耕作时间，预测洪水（太阳历）。
但以前数据的作用经常被人们忽视：一是因为过去数据量不足，而积累大量数据所需要的时间太长，以至于在较短时间内数据的作用不明显；二是数据和所获得的信息之间的联系通常是间接的，信息往往需要通过不同数据之间的相关性才能挖掘。
- 利用相关性挖掘信息的例子：Google利用2008-09年流行病传播和各地区搜索流行病关键词的关系，利用非常简单的线性回归模型 [1]，成功预测流感等流行到什么地方了，准确率高达97%；而传统的收集各地医院上报数据的低效率方法（10-14天左右的延迟）比，基于数据的简单模型也能够有效地防止疫情传播和扩散。
很多时候，我们无法直接获得信息（如疫情传播情况），但我们可以将相关联的信息（如各地搜索情况）量化，然后通过数学模型，简洁的获得所需信息。而各种数学模型的基础则是概率论和统计学。要想获得准确的统计结果，首先要保证数据量充分大，二是选取的样本要有代表性。这样根据大数定理和切比雪夫不等式就能保证从样本中得到的规律与实际情况相差不大。
获得充足和有代表性的数据，并且挖掘到了一定的规律之后，我们需要对数据建立定量的数学模型，以便在实际中应用。数学建模主要需要解决两个问题：1. 选什么样的模型；2. 模型的参数是多少。
以前往往对问题建立理想化的精确模型，但由于找模型和选参数十分困难，需要投入大量时间和精力，而且由于现实世界的复杂性，模型往往效果不佳。现在，精确模型越来越被机器学习方法取代，后者在大量数据的基础上，利用若干个简单模型取代复杂模型，不对模型做预先假设，往往能够得到具有良好预测效果的模型。可以说在预测效果上，数据驱动的机器学习模型与精确模型是等效的。这实际上使用计算量和数据量来换去研究时间，大数据驱动的方法不仅仅是经验论，其正确性在数学上是有严格的保障的。
数据驱动的方法，是大数据的基础，也是智能革命的核心，更重要的是，它带来了一种新的思维方式。
3. 大数据和机器智能
在有大数据之前，计算机并不擅长于解决需要人类智能的问题，但是今天这个问题换个思路就可以解决了，其核心就是变智能问题为数据问题。由此，全世界开始了新的一轮技术革命——智能革命。
1950年，计算机科学奠基人图灵首次定义机器智能，即提出了通过图灵测试来判断机器有无智能。
- 图灵测试：让一个人同时与坐在幕后的人和机器同时交流，如果人无法分辨出自己交流的对象是机器还是人类，证明机器具有与人类同等的智能。
**人工智能 1.0 **：传统的人工智能方法的思路是首先了解清楚人类是如何产生智能的，然后让计算机按照人的思路去做。然而机器并不需要按照人类的思维方式才能获得智能，它有自己的智能方式，重要的能够解决人脑能解决的问题。
数据驱动的机器学习方法的思想来源：20世纪80年代，贾里尼克在研究语音识别问题时，另辟蹊径采用了基于大量语料数据驱动的方法。
4. 思维的革命
在无法确定因果关系时，数据为我们提供了解决问题的新方法，数据中所包含的信息可以帮助我们消除不确定性，而数据间的相关性在某种程度上可以取代原来的因果关系，帮助我们得到问题的答案。这便是大数据思维的核心。
思维方式决定科学成就：从欧几里得、托勒密到牛顿
欧洲之所以能在科学上领先于世界其他地方，主要依靠从古希腊建立起来的思辨的思想和逻辑推理能力。依靠它们可以从实践中总结出最基本的公理，然后通过因果逻辑构建起整个科学的大厦。其中最具代表性的就是欧几里得的几何学和托勒密的地心说模型。
欧几里得通过5条最简单明显的公设，构建起公理化几何学体系，对欧洲产生了深远影响。例如罗马法便是借鉴公理化的思路，从自然法的公设出发构建起整个法律体系。而托勒密的方法论则可以概括为：通过观察获得数学模型的雏形，然后利用数据细化模型。但是托勒密方法论的确定性假设缺陷是致命的，它假定模型一旦产生就不会改变，而牛顿时代的机械论延续了这种错误的先验假设。
两者的核心思想有以下两点：首先，需要有个简单的元模型，这个模型可能是假设出来的，然后利用这个元模型构建复杂模型。其次，整个模型要和历史数据相吻合。
思维方式和方法远不如方法论对科学的发展至关重要，东方文明长期在技术上领先于西方，但是在科学体系的建立上远远落后于西方，关键是输在方法论上。
牛顿在《自然哲学的数学原理》中通过几条简明的公式，破解了宇宙万物运动的规律，指出任何正确的理论从形式上将都应该是简单的，而且具有良好的通用性，这和东方的大道至简的思想不谋而合。牛顿的思想和方法论在哲学上被称为机械思维，其核心思想为：
- 世界变化的规律是确定的，即上帝不掷骰子。
- 这种确定性的规律能够被认识，而且能被简单的公式或语言描述清楚。
- 这些规律应该是放之四海而皆准，可以应用于未知领域的实践。
可以说整个工业革命都是机械思维的结果，都是希望所有问题有一个通用的解决方法，如瓦特的万用蒸汽机。而机械思维更广泛的影响力是作为一种指导准则指导人们行为，即人们相信事物的确定性（可预测性）和因果关系。
当然，机械思维的局限也来自于它否认不确定性和不可知性。然而随着人类对世界认识的越来越清楚，人们发现世界本身存在着很大的不确定性。这种不确定性主要来自两方面：1. 影响世界的变量非常多，无法通过简单的公式算出结果，比如金融和气候领域的蝴蝶效应 2. 不确定性还来自客观世界本身，它是宇宙的一个特性，例如量子力学的测不准原理。
虽然世界有很多事情是难以用确定公式来描述，但它们并非没有规律可循，可以用概率模型来描述和预测。而概率论和香农提出的信息论就是处理不确定问题的新方法。而信息论中最重要的是熵(Entropy)的概念，即一件事不确定性程度越高，熵就越高；为了消除不确定性，就要引入更多信息。比如搜索引擎希望猜出用户的购买兴趣，在用户没有任何输入的时候，不确定性（熵）最大，而在用户输入大量信息，获得用户的搜索习惯后，对用户猜测的不确定度将大大减少。
反映在信息时代就是：谁掌握了信息，谁就能获得财富。
- 例如谷歌获取和积累了海量的用户搜索信息，就可以通过少量的广告精准投放来获取可观收入。
信息论中还有一个重要概念——互信息(Mutual Information)，可以解释为什么相关性可以消除不确定性，用来预测和解决与数据有相关性的问题。关于信息论还与一个必须了解的是最大熵原理，即我们在寻找模型时，模型应满足我们所有已经看到的数据，但不对未知情况做主观假设。
大数据的本质
大数据之所以能在很多重要问题上发挥作用，产生非凡的预测效果主要有以下本质原因：
- 数据量大：过去数据量积累不够，达不到大数定理所要求的量。
- 数据的多维度以及维度之间的相关性：在收集数据时，我们获得的是多维的数据，比如一个人的性别，年龄，收入，消费习惯等等，基于相关性和互信息，我们可以利用数据对与数据有相关性的问题进行预测和建模。
- 对模型不做假设：
- 为了避免出现“黑天鹅效应”这种漏网之鱼，大数据的完备性保证了训练模型的数据能够覆盖到真实世界的极端情况。
大数据科学的基础是信息论（熵、互信息、最大熵原理）和统计学（大数定理、切比雪夫不等式），它的本质就是利用信息消除不确定性。虽然人类使用数据和信息由来已久，但是大数据时代，由量变到质变，使得很多过去困扰大家的问题，今天通过大数据迎刃而解。
从因果关系到强相关关系
过去我们一直追求一定要找到事情的因果关系（比如牛顿的万有引力定律，爱因斯坦的相对论），但是对于复杂问题，其难度非常大，除了需要物质条件（设备、精密仪器、材料、资金）、人们的努力，还需要运气，而牛顿和爱因斯坦都是运气很好的人。找到因果关系固然好，但是如果因为找不到因果关系，我们就不解决问题了，人类的进步就会止步不前。这时候如果我们敢于跳出机械思维的追求因果的做法，利用数据的强相关关系解决问题，我们就开始具有大数据思维了。
5. 大数据与商业
实体店（沃尔玛）和网上商城（亚马逊）的对比：亚马逊是沃尔玛最大的竞争对手，虽然在价格上亚马逊不占优势，但利用大数据针对性的为用户推荐商品占到其销售额的1/3。相比沃尔玛，亚马逊主要有三大优势：
- 其交易数据是即时而完整的记录下来的，随时可以进行分析，而沃尔玛数据则分散在各地，不能即时分析。
- 亚马逊拥有顾客的全面信息，包括所有购物历史，住址等等。
- 任何市场策略，亚马逊都能马上进行调整和实现，比如临时促销等等。
大数据在商业活动中从细节到整体，再从整体到细节的双向流动。使得企业不仅能把握经营的每一个细节，更能对宏观商业情况分析把控，从而有针对性的改变策略，提升营业额。
- 例：美国绝大多数酒吧经营不超过5年，除了经营不善，更是由于23%的酒被酒保偷喝，或酒保给朋友提供免费或者超量酒饮。避免此问题的传统方法是老板必须要时刻在店里盯着，防止偷喝。而现在利用RFID技术（可以追踪物体位置的一种芯片，应用于物联网的物流追踪领域）并对酒瓶装上重量传感器，则每次动酒以及倒酒的量都会被记录下来，和交易记录匹配，从而使得老板即使出门办事，也可以用手机查看店面的营业情况，了解经营的细节。另外，大数据公司还可以为酒吧提供全地区酒吧的数据分析结果，作为行业的宏观数据参考。如从春天到夏天，啤酒的销量比葡萄酒上升快，哪些方面占酒吧的支出较大等等，定量的分析避免了传统的全凭经验，也可以让经营者对自己的酒吧和行业有更精准的了解，制定更科学的经营、销售策略。
大数据可以帮助制造业企业打通与客户的连接，分析客户的使用和购买习惯，省去中间环节，直接向客户发布促销活动，推荐商品等等，避免了由于分销商、零售商等中间环节带来的利润抽成和沟通壁垒。
- 例：格力等传统制造业公司的销售往往都是一锤子买卖，格力将制造的空调等电器分发给大区的大宗分销商（如华北区），分销商在一级一级的向下分发商品，客户从最终的零售商购买电器。之后如果不出现质量问题，制造商（格力）和顾客之间就不会有联系。包括大型的面向企业的销售，货款两清之后，卖方对卖方设备的使用情况，需求反馈等等一无所知，必须要等到卖方下次产生购买需求才会通知生产厂商前来竞标。主动的制造商可能会做一些市场分析，但缺乏大数据的情况下，预测很难准确。而大数据时代，格力可以对智能空调等加装各种传感器，并且开发控制电器的智能家居APP，从而记录用户的使用习惯，购买偏好等等。针对数据分析结果，个性化的定期向用户手机直接推送促销信息。
从历史经验上看大数据的作用
在历史上，一项技术带动整个社会变革的事情曾经发生过，它们通常遵循的模式是：现有产业 + 新技术 = 新产业。
例如：
蒸汽机出现后变革了很多产业，即 现有产业 + 蒸汽机= 新产业：
蒸汽机+传统家庭纺织作坊 = 大型纺织厂；
蒸汽机 + 传统帆船 = 巨型轮船引导的海上运输业，大帆船退出历史舞台。
蒸汽机 + 车轮 = 火车，取代马车更为货运和客运的高效运输工具。19世纪，电的应用除了取代蒸汽机作为动力源，也催生了很多新产业，即** 现有产业 + 电 = 新产业**：
电报、电话为核心的通信产业诞生。
留声机、电影、收音机导致大众娱乐业出现。
没有电，绝大多数化工产品无法被制造出来，如化肥，农药、建筑材料，日常用品等。计算机和网络引领的信息革命，也催生了很多新产业，即现有产业 + 计算机、网络 = 新产业：
证券交易：原来必须要到交易所进行纸质股票交易，变成了实时的网络电子证券交易。
银行业：原来成本非常高的、而且非常麻烦的跨行交易，使得人们不得不携带旅行支票或大量现金。计算机网络使得ATM网店可以遍布全球，银行的业务拓展到全世界。
回顾历史是为了展望未来，大数据引发的智能革命也将与前几次技术革命展开的方式类似，即：现有产业 + 大数据 | 机器智能 = 新产业。
技术改变商业模式
工业革命后，全世界从过去物质匮乏带来的生产供不应求，变成供大于求。
第二次工业革命中，电又一次改变商业模式。电带来的现代传媒和通信业，使得厂家和顾客之间沟通渠道更畅通，产品营销从原来的口碑相传，实体店被动展示，变成广告主动宣传，全球性品牌开始诞生，产业链、工业标准化开始形成。国家需要靠消费拉动经济增长，整个社会的消费价值观发生变化。
信息时代，产业链从一种产品扩展到整个行业。摩尔定律让很多电子产品价格每年不断下降，为拉动用户购买新产品，新软件，“安迪-比尔定律”（软件功能的增加和改进要不断吃掉硬件性能的提升）促使IT产业整合成大的产业链，保证了计算机和硬件产业不断发展的动力。
6. 大数据和智能革命的技术挑战
大数据的主要来源：1. 电脑本身产生的数据; 2. 传感器（如用于跟踪货物的RFID芯片，以及可穿戴设备的芯片等）; 3. 过去已经存在的、非数字化形式存储的语音、图片、视频、书籍、医疗影像等等，由于积累时间长，数据量巨大。
现在全球数据量增长的速度超过了存储设备发展的速度，越往后两者差距越大。因此，不能简单依靠更多地生产和购买设备解决数据存储问题，需要设计技术解决方案来提高存储效率，这主要可以通过1. 数据压缩和去冗余 2. 重新设计通用、有效和便捷的数据表示和存储和访问方式，比如设计随机访问策略来保证大数据的高效检索。
大数据面临的另一个技术难题是如何标准化数据格式，以便共享。Google设计了一种开源的Protocal Buffer的数据格式来作为数据存储的主要格式，也是其开发的各种软件的通信接口。
并行计算和实时处理：并非增加机器那么简单
大数据由于体量大、维数多，处理起来计算量巨大，它的使用效率取决于并行计算的水平。目前的MapReduce和Hadoop技术尽管可以将大型任务拆解成并行的小任务，但是总有一部分计算无法并行，这些无法并行的任务所占比例越大，并行处理的效率越低。
另外，对于实时数据分析的任务需求，例如电商实时对热门商品进行销量排序等，对于大数据而言是很大的挑战，因为大数据主要存储在硬盘上，访问较慢，而且MapReduce等工具的批处理通常也要几十分钟。因此，解决实时数据处理问题，需要从根本上改变大数据相关的系统设计和算法，而不是增加机器那么简单。
数据挖掘：机器智能的关键
大数据产生的效益很大程度上取决于对数据挖掘的水平，其关键就是机器学习。但是机器学习算法通常都比较“慢”，因为计算复杂度太高。
总体而言，大部分机器学习算法是等效的，在预测效果上只有量的区别，没有质的差别，而量的差别可以通过数据的规模和量来弥补。2010年Google开发出Google Brain的深度学习工具，可以将大型的神经网络分布在上百万台服务器上并行训练，即神经网络的并行版本。虽然听起来很简单，但是并行神经网络实现起来工作量巨大，小公司不可能有精力和资本自己去研究，因此由某个大公司投入精力研究并向大众提供机器学习的基础服务，是未来的趋势。
数据安全的技术
数据安全有两层含义：1. 保证用户数据不损坏，不丢失。2. 保证数据不被偷走和盗用。
保护数据安全可以通过以下措施：1. 尽量将敏感信息分散放到不同地方，防止多种敏感数据同时丢失。2. 某些业务固定的流程，利用算法可以学习到被授权操作员的使用习惯，用来发现和及时制止异常操作。
7. 未来智能化产业
“现有产业 + 新技术 = 新产业”是贯穿本书的主题，接下来的智能革命中，依然是现有产业转变和新产业诞生并行。无论是哪种方式，它们都有共同特点，即智能化和精细化。
本章将叙述一些未来产业的形态，这些改变并非我们预测，而是已经发生的事实。
未来的农业
人类的文明程度可以用人均产生的能量来衡量，原始社会人类产生能量是消耗能量的2-3倍；到发达社会，这个比值将达到10倍。工业革命后，机械、化肥、农药的使用大大提高了单产，但自然环境，尤其是土地短缺和降雨量，仍然是制约农业发展的瓶颈。
传统解决农业用水资源短缺的方法是挖更多井，实质是将短期危机转化为了长期水资源危机。但如果跳出思维定式，思考：“种田是否真的需要那么多水和那土地？”我们会得到更加高效智能的农业。
在降水极少的以色列🇮🇱（年平均200毫米，兰州为年均降水325毫米），沙漠占国土面积的一半，如此恶劣的条件，发展农业似乎不可能，但以色列人创造了令人咂舌的奇迹，许多农产品单产量领先于世界先进水平，如棉花单产世界第一等。这归功于以色列人发明了滴灌技术——通过装有滴头的管线直接将水和肥料送到植物的根系，大大节约了水和肥料。并且所有的灌溉方式都采用计算机进行自动化控制，灌溉系统中含有湿度传感器，来决定每次的灌溉量，这样既节省了人力成本，又节省了水资源。
2015年加州最干旱的季节，很多小区为了节水，购买了硅谷一家小公司的院落自动喷水机器人，来精确浇灌植物和草坪。机器人将扫描院落的湿度分布，来计算每个位置的喷水量，并且按照事先规划好的线路完成整个院落的浇灌。它也会根据联网的天气预报来决定是否浇灌，如果明天下雨则停止浇灌。
未来的体育
2009年，NBA的金州勇士队是全联盟50支球队中最烂的球队之一，成绩倒数第二。2015-16赛季，位于硅谷的金州勇士队创造了NBA历史上常规赛季获胜率最高的记录，全部82场比赛中获胜73场，同时创下主场54连胜记录，并且获得该年总冠军。一般人会以为勇士队一定有很多大牌球星和金牌教练，但事实并非如此。勇士队的奇迹实际上是由硅谷最不缺的风险投资人和工程师创造的，前者善于发现投资潜力，后者善于利用技术创造奇迹。低价被投资人收购后，管理层的任何决策都是基于大数据中得到的结论。数据发现NBA很多球队的打法是低效率的，都依靠明星球员的身体条件进行突破扣篮，虽然打起来漂亮，但实际很低效。管理层首先从零开始培养自己看中的新人，并且利用数据个性化的改进每球员水平，设计尽可能投三分球的新打法，并且在比赛中通过实时数据及时调整战术。
未来的竞技体育是离不开大数据和机器智能的，仅靠天赋和苦练将不足以取得最好的成绩。
未来的制造业
2011年，德国🇩🇪提出工业4.0的概念，即通过数字化和智能化来提升制造业水平。在美国🇺🇸，特斯拉公司已经尝试全部采用机器人来装配汽车，不仅大幅减少了雇佣工人的数量，也让出厂汽车的性能和质量更稳定，同时产品也更容易按照个性化定制。
在过去，产品生产本身只是主要环节中的一个。商品的设计和研发，仓储和物资管理，物流和运输，批发和零售，都是不可或缺的环节，而每个环节都意味着成本。到了大数据时代，除了商品的设计和研发，剩下的环节要么高度智能化（如仓储和物资管理），要么干脆被砍掉（如批发行业），因此在制造业中哪些所谓的高端工作也面临着被机器智能取代的风险。
未来的医疗
人类发展经济和科技的最重要的目的就是增进健康，延年益寿。历次重大科技进步无不伴随着人类医疗水平的飞跃，如工业革命后，人类通过搞清楚了细菌致病的原理而开启现代医学，并随后发明了抗生素。
今天，人类在医疗保健上遇到的主要瓶颈是：1. 医疗成本越来越高，美国医保开销占GDP 17-18%。2. 医疗资源不平衡 3. 最关键的是，很多疾病治不好，癌症、帕金森综合征和阿尔茨海默症。因此我们从这三方面看看大数据如何改变医疗及制药行业现状。
降低医疗成本：医疗成本过高的主要原因是：
- 药品研制周期长，费用太高（20年、20亿美元的投入，专利保护年限只有20年，但是要算上3年申请时间，多年的药品上市等待时间，据强生公司介绍实际上受专利保护时间仅有7年左右）
- 医务人员培养的成本太高（平均13年学习和实习和时间，全自付高学费、还要经过非常激烈的竞争才能最终从医学院毕业，时间和金钱投入如此巨大，必须由高收入才合算）。
过去像放射科医生这种被认为需要太多专业技能和经验，工作性质复杂，不可能被机器取代。而今模式识别软件通过医学影像识别和分析，能比有经验的放射科医生更好的诊断病情。此外，越老越吃香，靠经验进行诊断的老医生业也将面临被基于大数据和机器学习的诊断算法取代，并且后者在某些问题上（如确定乳腺癌细胞的位置）上，准确率可以超过专科医生，达到96%。
另外，在手术方面，全世界最具代表性的自动化手术机器人：达芬奇手术系统能完成一些人类医生难以完成的手术。
相比医生，计算机在诊断和手术上具有三大优势：1. 漏判或误判的可能性非常低，能发现一些医生忽略的情况 2. 准确率非常高，而且随着病例的积累会增加的很快 3. 程序的稳定性非常好，不会像人那样受情绪影响，而智能程序的成本不足人工的百分之一。
解决医疗资源短缺问题：在缺少医生的非洲和印度🇮🇳，IBM开发了可以帮助看病的Watson“机器医生”。
制药业的革命：基于基因组学、转录组和药物靶点相关的大数据，开发出能够预测旧药的新用途的算法，将大大降低药物的研发成本。
未来的律师业
大数据对司法领域的影响在于：机器智能会逐渐取代律师做一些案例分析工作，使得诉讼成本可能大幅降低。律师费高昂的重要原因就是某些案件所需要进行的判例分析工作量巨大，例如Google和Viacom的官司，就分析了上百万份文档。但利用自然语言处理技术和信息检索技术，这种时间、人力和成本将大大降低。
未来的记者和编辑
计算机目前通过机器学习算法，已经具有写出符合逻辑的段落的写作能力。这使得其可以应用于撰写固定格式的新闻稿，或者生成财经评论等。
智能革命和未来社会
狄更斯在《双城记》的开头说“这是最好的时代，也是最坏的时代”。一方面，智能革命无疑会给我们带来更美好的社会，更加智能、精细化、人性化。但机器也会越来越多的取代人类的工作机会。
每次重大技术革命都需要很长时间来消化它产生的负面影响：例如智能化带来的大量剩余劳动力释放。这些靠各国政府等手段让从业人员掌握新技能实际上收效甚微，因为上一代很难适应下一代的技术发展。解决这一问题只能靠时间，靠上一代人逐渐退出劳动力市场。
未来98%的人面临被取代的危险，而只属于2%的从事创造性劳动，或者控制机器智能的人，我们要努力变成这2%的人。
[1] Ginsberg, J., Mohebbi, M. H., Patel, R. S., Brammer, L., Smolinski, M. S., & Brilliant, L. (2009). Detecting influenza epidemics using search engine query data. Nature, 457(7232), 1012.
