大数据的核心价值

姓名:周君会        学号:17011210526

转载自:

https://www.zhihu.com/question/23273263

【嵌牛导读】:大数据时代已经来临,涉及我们的方方面面。

【嵌牛鼻子】:深度学习、数据挖掘、神经网络、人工智能或许会出现在我们的日常中,如无人驾驶,物联网,极大地便利了我们的生活。

【嵌牛提问】:那么,大数据的核心价值到底在哪里?

【嵌牛正文】:

“很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了。”——马云卸任演讲

本文尝试从三大产业的角度将大数据的核心商业价值分类讨论。

首先例举一些大数据的典型应用,然后解释大数据的定义,最后总结大数据的价值。

我们知道:

第一次工业革命以煤炭为基础,蒸汽机和印刷术为标志,

第二次工业革命以石油为基础,内燃机和电信技术为标志,

第三次工业革命以核能基础,互联网技术为标志,

第四次工业革命以可再生能源为基础,_________为标志。

空白处你会填上什么?欢迎大家讨论。但是目前可以预测的是,数据和内容作为互联网的核心,不论是传统行业还是新型行业,谁率先与互联网融合成功,能够从大数据的金矿中发现暗藏的规律,就能够抢占先机,成为技术改革的标志。

一、大数据的应用

大数据挖掘商业价值的方法主要分为四种:

客户群体细分,然后为每个群体量定制特别的服务。

模拟现实环境,发掘新的需求同时提高投资的回报率。

加强部门联系,提高整条管理链条和产业链条的效率。

降低服务成本,发现隐藏线索进行产品和服务的创新。

<img src="https://pic4.zhimg.com/50/071eb45b3f347956c7cd9fb49b26f523_hd.jpg" data-rawwidth="613" data-rawheight="552" class="origin_image zh-lightbox-thumb" width="613" data-original="https://pic4.zhimg.com/071eb45b3f347956c7cd9fb49b26f523_r.jpg">

Mckinsey列出了各个行业利用大数据价值的难易度以及发展潜力。《Big data: The next frontier for innovation, competition, and productivity》

<img src="https://pic4.zhimg.com/50/0792e758d2a766c642130ec201075de3_hd.jpg" data-rawwidth="613" data-rawheight="532" class="origin_image zh-lightbox-thumb" width="613" data-original="https://pic4.zhimg.com/0792e758d2a766c642130ec201075de3_r.jpg">

各种Data之间的关系图,注意Open Data是完全包含了Open government data(政府开放数据)

<img src="https://pic2.zhimg.com/50/82d8a3d8b702c34fced0d2c8e9921049_hd.jpg" data-rawwidth="727" data-rawheight="586" class="origin_image zh-lightbox-thumb" width="727" data-original="https://pic2.zhimg.com/82d8a3d8b702c34fced0d2c8e9921049_r.jpg">

Mckinsey也列出了Open Data时代里七大行业潜在的经济价值,自上而下分别是教育,运输,消费品、电力、石油与天然气、医疗护理、消费金融。(感谢知友安阳提供的补充链接资料)

大数据的类型大致可分为三类:

传统企业数据(Traditional enterprise data):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。

机器和传感器数据(Machine-generated /sensor data):包括呼叫记录(Call Detail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。

社交数据(Social data):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。

从理论上来看:所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因,第一、第二产业的发展速度相对于第三产业来说会迟缓一些。

1985年,我国国家统计局明确地把我国产业划分为三大产业:

农业(包括林业、牧业、渔业等)定为第一产业。

工业(包括采掘业、制造业、自来水、电力、蒸汽、煤气)和建筑业定为第二产业。

把第一、二产业以外的各行业定为第三产业。

第三产业即除第一、第二产业以外的向全社会提供各种各样劳务的服务性行业,主要是服务业。其中第三产业可具体分为两大部门:一是流通部门;二是服务部门。再细分又可分为四个层次:

第一层次,流通部门。包括交通运输行业、邮电通讯行业、物资供销和仓储行业。

第二层次,为生产和生活服务的部门。包括金融业、商业饮食业、保险业、地质普查业、房地产业、公用事业、技术服务业和生活服务修理业务;

第三层次,为提高科学文化水平和居民素质服务的部门。包括教育文化、广播电视事业、科学研究事业、卫生、体育和社会福利事业;

第四层次,为社会公共需要服务的部门。包括国家机关、党政机关、社会团体、以及军队和警察公安司法机关等。

我们可以看出,由于某些客观原因,相对于第一产业和第二产业来说,第三产业凭借自身的优势,大多汇聚了当前最海量的数据以及大批的科研中坚力量。接下来让我们看一些典型例子,当前新形势下与三大产业密切相关的大数据应用。

(1).第一产业

孟山都(Monsanto | A Sustainable Agriculture Company),农业

孟山都是一家美国的跨国农业生物技术公司,其生产的旗舰产品抗农达,即年年春(Roundup)是全球知名的嘉磷塞除草剂,长期占据市场第一个位置。该公司目前也是基因改造(GE)种子的领先生产商,占据了多种农作物种子70%–100%的市场份额,而在美国本土,更占有整个市场的90%。已经统治了生物工程种子业务超过十年。

孟山都首先发起“Green Data Revolution”运动,建立农业数据联盟(Open Ag Data Alliance)来统一数据标准,让农民不用懂“高科技”也能享受大数据的成果。典型的应用如农场设备制造商John Deere与DuPont Pioneer当前联合提供“决策服务(Decision Services)”,农民只需在驾驶室里拿出平板电脑,收集种子监视器传来的数据,然后将其上传给服务器,最终服务器返回化肥的配方到农场拖拉机上。

天气意外保险公司(The Climate Corporation),农业

The Climate Corporation为农民提供Total Weather Insurance (TWI)——涵盖全年各季节的天气保险项目。利用公司特有的数据采集与分析平台,每天从250万个采集点获取天气数据,并结合大量的天气模拟、海量的植物根部构造和土质分析等信息对意外天气风险做出综合判断,然后向农民提供农作物保险。前不久从Google Ventures、Founders Fund等多家公司获得超过5000万美元的风险投资。 2013年被孟山都收购。

土壤抽样分析服务商(Solum, Inc,农业

Solum目标是实现高效、精准的土壤抽样分析,以帮助种植者在正确的时间、正确的地点进行精确施肥。农户既可以通过公司开发的No Wait Nitrate系统在田间进行分析即时获取数据;也可以把土壤样本寄给该公司的实验室进行分析。2012年获得Andreessen Horowitz 领投的1700万美元投资后,已累计融资近2000万美元。

了解更多:

大数据对于农业的发展会带来什么影响?或具体到对农场经营会有什么启示或者带来什么样的变化?

(2).第二产业

2013年9月,工业和信息化部发布了《关于印发信息化和工业化深度融合专项行动计划(2013-2018年)》的通知。明确提出推动物联网在工业领域的集成创新和应用:

实施物联网发展专项,在重点行业组织开展试点示范,以传感器和传感器网络、RFID、工业大数据的应用为切入点,重点支持生产过程控制、生产环境检测、制造供应链跟踪、远程诊断管理等物联网应用,促进经济效益提升、安全生产和节能减排。

大数据的业务多是数据驱动型,具有数据量大、种类多、实时性高的特点。工业企业对数据的记录以往看来主要分为两种方法:传统的纸笔和Excel电子表格记录。这些操作起来看似简单的数据管理方式为企业生产及质量监控埋下了巨大的隐患,也让数据挖掘无从谈起。

随着信息化与工业化的融合发展,信息技术渗透到了工业企业产业链的各个环节。例如Sensor、RFID、Barcode、物联网等技术已经在企业中得到初步应用,工业大数据也开始逐渐得到积累。企业中生产线高速运转时机器所产生的数据量不亚于计算机数据,而且数据类型多是非结构化数据,对数据的实时性要求也更高。因此工业大数据所面临的问题和挑战很多,所以通用电气公司(General Electric)的副总裁兼全球技术总监William Ruh认为相对于工业大数据来说,工业互联网(Industrial Internet)才是当前急需的,因为大数据本身并没有让信息的提取更加智能,业务比数据本身更加重要。他举了一个核磁共振成像扫描的例子:

Here’s an example. An MRI scan is the best way to see inside the human body. While effective in helping to diagnose multiple sclerosis, brain tumors, torn ligaments and strokes, the data produced by an MRI machine is disconnected from the person that needs it the most.

At a very simplistic level, there are many individuals working as a team to make the scan happen. A nurse administers medications or contrast agents that may be needed for the exam; an MRI technologist operates the scanner; and a radiologist identifies the imaging sequences to be used and interprets the images. This information is then given to the nurse, who then passes it to the primary doctor to review and take action accordingly. This is Big Data, but it is not making information more intelligent.

又如在工业中,压力、温度等数据的特点是需要语境才能理解的。燃气轮机排气装置上的温度读数与一台机车的内部温度是完全不同的。燃气轮机改善热敷需要使用非常复杂的算法运行模型。在笔记本电脑上,一个典型的查询要获得答案一般需要三个星期。在基于大数据的分布式系统上发布同样的查询执行一种计算只需要不到一秒钟。

第三方认证机构(TÜV NORD GROUP),工业

德国汉德技术监督服务有限公司的前身是德国锅炉检验协会(简称TÜV)早在1869年,德国锅炉检验协会就承担了德国国内所有锅炉运行安全的检验工作,保证了锅炉生产的安全。渐渐的,德国锅炉检验协会取得了德国政府的授权,开展对其他产品的检验工作,从采矿,电力系统开始,到压力容器,机动车辆,医疗设备,环境保护,宇航工业,医疗产品等等,现在的德国汉德技术监督服务有限公司已经成为了许许多多产品的安全代号。主要体系认证包括企业质量管理体系,生产环境体系,生产碳排放方案等。TÜV当前从建筑绿色标准体系方面提出了对于大数据能源管理的探索,以微软新总部,蒂森克虏伯电梯总部为例,在整个项目实施中引入大数据能源管理,在建筑的设计规划阶段、施工阶段、运营阶段等多个阶段通过数据化的能源管理系统,实现建筑的低碳、绿色、智能。

工业自动化软件商(Wonderware),工业

Wonderware作为系统软件涉及的专业企业,对于大数据的计算和运用是从比较“IT”的角度出发的。Wonderware 的实时数据管理软件能够提供一个工厂所需要的从建立到报废的所有实时数据。目前已经退出移动版本,工程总监在手机上就能够随时随地监控设备的运行状况。目前全球超过三分之一的工厂应用Wonderware公司的软件解决方案。

了解更多:

大数据在电力行业的应用前景有哪些?

(3).第三产业

这一个部分的内容比较多。这里只提出一些典型的应用例子,欢迎补充。

健康与医疗:Fitbit® Official Site: Flex, One and Zip Wireless Activity and Sleep Trackers的健身腕带可以收集有关我们走路或者慢跑的数据,例如行走步数、卡路里消耗、睡眠时长等数据与健康记录来改善我们的健康状况;Early Detection of Patient Deterioration等公司正在开发床垫监测传感器,自动监测和记录心脏速率、呼吸速率、运动和睡眠活动。该传感器收集的数据以无线方式被发送到智能手机和平板电脑进行进一步分析;美国公共卫生协会(APHA: American Public Health Association)开发Flu Near You用来的症状,通过大数据分析生成报告显示用户所在地区的流感活动。

视频:互联网电视能够追踪你正在看的内容,看了多长时间,甚至能够识别多少人坐在电视机前,来确定这个频道的流行度。Netflix美国国内规模最大的商业视频流供应商,收集的数据包括用户在看什么、喜欢在什么时段观看、在哪里观看以及使用哪些设备观看等。甚至记录用户在哪视频的哪个时间点后退、快进或者暂停,乃至看到哪里直接将视频关掉等信息。典型的应用是Netflix公司利用数据说服BBC重新翻拍了电视连结剧《纸牌屋》,而且成功的挖掘出演员Kevin Spacey和导演David Fincher的支持者与原剧集粉丝的关联性,确定新剧拍摄的最佳人选。

When the program, a remake of a BBC miniseries, was up for purchase in 2011 with David Fincher and Kevin Spacey attached, the folks at Netflix simply looked at their massive stash of data. Subscribers who watched the original series, they found, were also likely to watch movies directed by David Fincher and enjoy ones that starred Kevin Spacey. Considering the material and the players involved, the company was sure that an audience was out there.

交通:车来了》通过分析公交车上GPS定位系统每天的位置和时间数据,结合时刻表预测出每一辆公交车的到站时间;WNYC开发的Transit Time NYC通过开源行程平台(Github:OpenTripPlannerMTA)获取的数据将纽约市划分成2930个六边形,模拟出从每一个六边形中点到边缘的时间(地铁和步行,时间是上午九点),最终建模出4290985条虚拟线路。用户只需点击地图或者输入地址就能知道地铁到达每个位置的时间;实时交通数据采集商INRIX-Traffic的口号是(永不迟到!^^),通过记录每位用户在行驶过程中的实时数据例如行驶车速,所在位置等信息并进行数据汇总分析,而后计算出最佳线路,让用户能够避开拥堵。

<img src="https://pic4.zhimg.com/50/6adbebaa31642be94c70fdcf3668abb7_hd.jpg" data-rawwidth="841" data-rawheight="529" class="origin_image zh-lightbox-thumb" width="841" data-original="https://pic4.zhimg.com/6adbebaa31642be94c70fdcf3668abb7_r.jpg">

电子商务:Decide是一家预测商品价格并为消费者提出购买时间建议的创业公司,通过抓取亚马逊、百思买、新蛋及全球各大网站上数以十亿计的数据进行分析,最终整合在一个页面中方便消费者对比查看,并且能够预测产品的价格趋势,帮助用户确定商品的最好购买时机。已经于2013年被 eBay收购。

政治:奥巴马在总统竞选中使用大数据分析来收集选民的数据,让他可以专注于对他最感兴趣的选民,谷歌执行董事长Eric Schmidt当时向奥巴马的大数据分析团队投资数百万美元并聚拢核心成员成立了Civis Analytics咨询公司,该公司将会将在奥巴马连任竞选中所获得的经验应用到商业和非营利行业中。(了解更多可以看看MIT technology的文章The Definitive Story of How President Obama Mined Voter Data to Win A Second Term

金融:ZestFinance | Big Data Underwriting是由是Google的前任 CIO,Douglas Merrill创立金融数据分析服务提供商,使用机器学习算法和大数据为放款者提供承保模式,旨在为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。公司使用分析模型对每位信贷申请人的上万条原始信息数据进行分析,只需几秒时间便可以得出超过十万个行为指标。目前违约率比行业平均水平低 60%左右。另外一个不得不提到的是风险管理先驱者FICO | Predictive Analytics, Big Data Analytics and FICO Credit Scores,通过大数据分析为银行和信用卡发卡机构、保险、医疗保健、政府和零售行业提供服务。FICO 信用分计算的基本思想是:把借款人过去的信用历史资料与数据库中的全体借款人的信用习惯相比较,检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。FICO 已经为三分之二的世界 100 强银行提供服务,提高了客户忠诚度和盈利率、减少欺诈损失、管理信贷风险、满足监管与竞争要求并快速获取市场份额。想了解更多的企业可以看看附录中《经济学人》的文章《Big data: Crunching the numbers》。

电信:美国T-mobiles采用Informatica - The Data Integration Company平台开展大数据工作,通过集成数据综合分析客户流失的原因,根据分析结果优化网络布局为客户提供了更好的体验,在一个季度内将流失率减半;韩国SK telecom新成立一家公司SK Planet,通过大数据分析用户的使用行为,在用户做出决定之前推出符合用户兴趣的业务防止用户流失。美国AT&T公司将记录用户在Wifi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告客户。比如当用户距离商家很近时,就有可能收到该商家提供的折扣很大的电子优惠券。英国BT - Broadband公司发布了新的安全数据分析服务Assure Analytics—BT news releases,帮助企业收集、管理和评估大数据集,将这些数据通过可视化的方式呈现给企业,帮助企业改进决策。

一般来说盈利性质的商业公司和企业都不会轻易泄露自己的数据、建模方法和分析过程,所以还有很多大家不知道的神秘应用潜伏在黑暗里,如同《三体》中的”黑暗森林法则“。

宇宙就是一座黑暗森林,每个文明都是带枪的猎人,像幽灵般潜行于林间,轻轻拨开挡路的树枝,竭力不让脚步发出一点儿声音,连呼吸都必须小心翼翼:他必须小心,因为林中到处都有与他一样潜行的猎人,如果他发现了别的生命,能做的只有一件事:开枪消灭之。在这片森林中,他人就是地狱,就是永恒的威胁,任何暴露自己存在的生命都将很快被消灭,这就是宇宙文明的图景,这就是对费米悖论的解释。

二、大数据的定义

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

数据体量巨大(Volume)。截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。

数据类型繁多(Variety)。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。

价值密度低(Value)。价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

处理速度快(Velocity)。大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。

看看专家们怎么说。

舍恩伯格,大数据时代 (豆瓣)

不是随机样本,而是全体数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。

埃里克·西格尔,大数据预测 (豆瓣)

大数据时代下的核心,预测分析已在商业和社会中得到广泛应用。随着越来越多的数据被记录和整理,未来预测分析必定会成为所有领域的关键技术。

城田真琴,大数据的冲击 (豆瓣)

从数据的类别上看,“大数据”指的是无法使用传统流程或工具处理或分析的信息。 它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

、大数据的价值

了解了大数据的典型应用,理解了大数据的定义。这时相信在每个人的心中,关于大数据的价值都有了自己的答案。

2010年《Science》上刊登了一篇文章指出,虽然人们的出行的模式有很大不同,但我们大多数人同样是可以预测的。这意味着我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性,即93%的人类行为可预测。

Limits of Predictability in Human Mobility

A range of applications, from predicting the spread of human and electronic viruses to city planning and resource management in mobile communications, depend on our ability to foresee the whereabouts and mobility of individuals, raising a fundamental question: To what degree is human behavior predictable? Here we explore the limits of predictability in human dynamics by studying the mobility patterns of anonymized mobile phone users. By measuring the entropy of each individual’s trajectory, we find a 93% potential predictability in user mobility across the whole user base. Despite the significant differences in the travel patterns, we find a remarkable lack of variability in predictability, which is largely independent of the distance users cover on a regular basis.

大数定理告诉我们,在试验不变的条件下,重复试验多次,随机事件的频率近似于它概率。“有规律的随机事件”在大量重复出现的条件下,往往呈现几乎必然的统计特性。

举个例子,我们向上抛一枚硬币,硬币落下后哪一面朝上本来是偶然的,但当我们上抛硬币的次数足够多后,达到上万次甚至几十万几百万次以后,我们就会发现,硬币每一面向上的次数约占总次数的二分之一。偶然中包含着某种必然。

随着计算机的处理能力的日益强大,你能获得的数据量越大,你能挖掘到的价值就越多。

实验的不断反复、大数据的日渐积累让人类发现规律,预测未来不再是科幻电影里的读心术。

如果银行能及时地了解风险,我们的经济将更加强大。

如果政府能够降低欺诈开支,我们的税收将更加合理。

如果医院能够更早发现疾病,我们的身体将更加健康。

如果电信公司能够降低成本,我们的话费将更加便宜。

如果交通动态天气能够掌握,我们的出行将更加方便。

如果商场能够动态调整库存,我们的商品将更加实惠。

最终,我们都将从大数据分析中获益。

四、结束语。

Here's the thing about the future.关于未来有一个重要的特征

Every time you look at it,每一次你看到了未来

it changes because you looked at it.它会跟着发生改变 因为你看到了它

And that changes everything else.然后其它事也跟着一起改变了

数据本身不产生价值,如何分析和利用大数据对业务产生帮助才是关键。

祝每一个DMer都挖掘到金矿和快乐:)

参考文献:

[1].什么是大数据时代的思维?《大数据时代》作者维克托迈尔舍恩伯格的演讲

[2].New movie damns Monsanto's deadly sins

[3].American farmers confront 'big data' revolution

[4].The Industrial Internet: Even Bigger Than Big Data

[5].《信息化和工业化深度融合专项行动计划(2013-2018年)》印发

[6].Big data: The next frontier for innovation, competition, and productivity

[7].Big data: Crunching the numbers

[8].audit.gov.cn

[9].中国金融行业大数据应用市场研究白皮书

[10].The Secret Sauce Behind Netflix's Hit, "House Of Cards": Big Data

[11].Open data: Unlocking innovation and performance with liquid information

-

-----------2017年1月更新-----

欢迎关注我存储知识的地方:预见未来——Han Hsiao的知乎专栏Foresee

-

编辑于 2017-06-09

4.7K​152 条评论

​分享

​收藏​感谢收起

刘飞

用户标识

产品经理话题的优秀回答者

890 人赞同了该回答

从庞杂的数据背后挖掘、分析用户的行为习惯和喜好,找出更符合用户「口味」的产品和服务,并结合用户需求有针对性地调整和优化自身,就是大数据的价值。

对于大数据在商业上的用途,这句话说得很清楚。前半句是重点,了解用户的行为习惯和爱好,这就是大数据的核心价值。

1. 元数据(Metadata)的概念

简单说,元数据是对数据本身进行描述的数据,或者说,它不是对象本身,它只描述对象的属性。

比如,一幅画本身,是数据。而这幅画的作者、完成时间、尺寸、价格、类型等等,就是它的元数据。

再比如,你妈逼你结婚,找了个男的让你相亲。你并不认识他,但你妈告诉你他的年龄、身高、体重、体貌特征、家庭背景、收入、爱好特长,你心里也就对他有了印象。即便你还不认识他。

元数据的价值,第一是能够从侧面描述对象,第二点就是可以结构化、信息化。

什么意思呢?

比如,我们要判断一幅画的价值,除了专家直接通过画的艺术性来评价,还可以通过元数据来判断。

这幅画是名家的还是二流画家的?这幅画是作者在他创作鼎盛时期的作品,还是在年轻时的作品?这幅画是作者擅长的类型还是他不熟悉的?

用这些描述的信息,我们居然就能把这幅画的价值算得八九不离十。虽然肯定会存在误差,但同样是科学合理的方法。

那用元数据而非数据本身描述对象的意义何在?

这就是在大数据上产生的价值了:对于非结构化的、非量化的对象本身,结构化的元数据可以用以快速计算和判断。

比如,你妈拿了 100 个单身男的资料,你要是一个一个去仔细翻阅,那几天都翻不完。但你告诉你妈,高学历的可能意味着素质很高,高收入的可能意味着能力很强,所以先把低学历低收入的筛掉,剩下的再依据身高体重年龄这些信息排序,那效率就高得多了。

注意,这样的方法仍然会有失误的,说不定真爱就在被筛掉的人里。但这样的概率微乎其微。

相亲里似乎还不太明显,但大数据在真正产品应用中,产生的效果就天翻地覆了。

2. 大数据应用的第一阶段:辅助产品。

最初的应用比较简单,就是用以辅助产品人员和市场人员做判断。

过去的实体产品做一次调研很麻烦。比如饮料公司,调研人员要用各种方式观看他们喝饮料的场景和步骤。

问卷是最常见的,但不准。所以会组织各种各样专业的现场试验,要搭建环境(一般是有单面玻璃或摄像头的)、邀请志愿者,然后引导他们按照日常的习惯去完成一些操作。

比如这样的通过摄像头监视观察室。

&lt;img src="https://pic4.zhimg.com/50/5d5e8c4c2852ec6b547387d908380b9f_hd.jpg" data-rawwidth="2048" data-rawheight="1536" class="origin_image zh-lightbox-thumb" width="2048" data-original="https://pic4.zhimg.com/5d5e8c4c2852ec6b547387d908380b9f_r.jpg"&gt;(图片摘自:

(图片摘自:http://210.38.160.80/jkx/newsdetail.asp?id=1038

显然这种办法非常笨重。

而现在的互联网产品则根本无须这么麻烦。用户所有的使用数据、行为,都是记录在案的,想知道什么,瞬间就能分析出来。

过去想知道用户有没有做一件事,比如有没有用过这个功能?太难了。

现在呢,就问点击这个行为,点击了几下、点击在哪里,什么时候点的,甚至这是在什么地方点的、点击之后又做了什么,一清二楚。

用户平时用不用这个功能、怎么用这个功能,也就一目了然。

对于产品设计者来说,这是至关重要的数据。而且,这是完整的数据!如果是互联网产品,那么我知道的是所有用户的数据,不是过去传统行业产品的样本数据。

腾讯知道所有微信用户有多少用朋友圈、知道这些用户每天都发几条朋友圈、知道这些用户每天都发了什么。每一个数据都是真实可用的。

&lt;img src="https://pic2.zhimg.com/50/926e7b3097b35d088e3d5d279d8e6605_hd.jpg" data-rawwidth="947" data-rawheight="548" class="origin_image zh-lightbox-thumb" width="947" data-original="https://pic2.zhimg.com/926e7b3097b35d088e3d5d279d8e6605_r.jpg"&gt;

(过去发行量再大的报纸也很难知道读者性别,然而现在再小的微信公众号也可以实时获取。)

在实体产品的行业,随着未来整个产品从生产到销售到使用的信息化,大数据也会渐渐起到更大的作用。过去我卖的一瓶水,可能到某个超市就断掉了,我不知道这瓶水被谁买走了。但现在我在天猫卖的一瓶水,我知道对方这个用户是每个月买十箱水的,他的地址是某个高档餐厅,那我就知道这瓶水的目标受众是谁了。

这是元数据的价值所在。

所以说,大数据的第一阶段是:辅助产品设计者做判断、让产品制造者更好地满足用户。

&lt;img src="https://pic3.zhimg.com/50/4eaf9f5da965eb642ec4dabf9ca5060a_hd.png" data-rawwidth="877" data-rawheight="293" class="origin_image zh-lightbox-thumb" width="877" data-original="https://pic3.zhimg.com/4eaf9f5da965eb642ec4dabf9ca5060a_r.png"&gt;这时候的大数据主要是来为产品提供支持,产品再应用于用户。

这时候的大数据主要是来为产品提供支持,产品再应用于用户。

3. 大数据应用的第二阶段:创造价值。

在数据的数量和质量达到一定程度后,事情开始变化了。元数据将不仅作为产品的辅助,而是变成了最有价值的产生本身。

很简单的,全中国最熟悉老百姓消费习惯的是工商局吗?是哪个协会吗?是哪个科研机构吗?都不是,是淘宝。

拥有最全面的个人信用信息的,是人事局吗?是银行吗?是咨询公司吗?都不是,是支付宝。

道理也简单得很,所有行为(消费、交易)发生在了这个平台上,而这个平台又有所有数据的记录,那这些数据就能产生巨大的价值。

你以为做医疗健康这方面的产品仅仅是关注你的健康吗?并不是,他们同时还能够记录你所有的体征,这是第一线的临床数据。

此时,大数据本身已经成为了产品,可以输出有价值的内容。

消费行为数据,卖给广告商,广告商就可以定向给你投送广告;信用数据,卖给银行,银行就可以判断出你的信用程度;健康数据,卖给保险公司...你懂的。

近几年,互联网公司已经能够对全国各领域的市场,给出最有说服力的统计报告了,这些之前可都是政府做的:

淘宝网发布中国互联网消费趋势报告

携程旅行网发布《2014年旅游者调查报告》

滴滴携两大机构发布首份智能出行年度报告

不仅仅是将数据出售,数据提供的内容完全可以创造出新的产品。尤其像 O2O 这样的产品/服务,上游是服务提供者和资源,下游是用户,都能够有价值可以发掘。

以前做美甲的时候,我们设想的商业模式,有一项就是从上游,了解美甲师用品的情况,跟生产厂家合作,把控渠道;另外就是从下游,知道用户的情况,从而也能够跟其他美业产品合作(定向帮你把产品带到家里,河狸家其实已经在做),来让用户数据产生价值。

我之前听说饿了么在尝试一项新服务,就是为餐馆提供食材。乍一听有点怪,但后来想想的确是再合理不过。除了饿了么还有谁更能清楚某块区域的餐品售卖数据呢?这地方萝卜白菜卖得多、有多少量,饿了么清楚得很,跟农场谈合作,可以很好地把控上游渠道。

&lt;img src="https://pic4.zhimg.com/50/9644e5872c6d5d68e74f34784e5fd2b7_hd.png" data-rawwidth="808" data-rawheight="333" class="origin_image zh-lightbox-thumb" width="808" data-original="https://pic4.zhimg.com/9644e5872c6d5d68e74f34784e5fd2b7_r.png"&gt;这阶段的大数据,已经可以成为产品,为用户直接服务。

这阶段的大数据,已经可以成为产品,为用户直接服务。

从另一个角度看,不知道你发现没,通过我们行为数据这些元数据,我们已经在慢慢被量化的信息给描述出来了。看到这些数字(一年花了多少钱、在哪方面花的钱等等)已经对这个人可以有相对粗糙的认识了。

而大数据最终的形态开始初现。

4. 大数据应用的第三阶段:塑造我们。

我之前也总是对行为数据表示不屑。你知道我在淘宝买了点东西、跟谁微信聊了几句话、去百度随便查了点东西,就能知道我是什么人了?

还真的可以。只要数据保质保量。

我知道你一个月没买避孕套这两天突然买了三盒,那可能是你要跟异地恋的女朋友见面了;我发现你微信跟异地的某个妹子聊得特别多、经常还视频,那这大概就是你异地的女朋友;我了解你在百度一直搜东南亚的机票和旅行攻略,那我知道你可能要去那里玩。

就是这么简单的三条元数据,我就能推测出来,你很大概率上,最近要跟女朋友一起去东南亚旅行。

说实话,做这么基础的逻辑推断,比下围棋容易多了

这是说明元数据能够推理信息的逻辑性。而对于可获取的元数据,也越来越多了。

你打电话时,可以知道你给谁打(妇科医生?要生孩子了。律师?最近有官司。)

你买东西时,可以知道你的消费能力、家庭状况、喜好甚至性格(高端笔记本?爱玩游戏。蜡笔和简笔画册?家里有小孩。)

你出门消费时,可以知道你的生活习惯和个人情况(健身房?应该很健康。经常大保健?可能身体比较虚。)

你加别人微信时,可以知道你的社交圈子(认识李开复?应该不是一般人。通讯录里都是快递员?那可能也是快递员。)

作为这些产品的数据的拥有者,我完全不需要派个私家侦探来跟踪你。只需要等你自己乖乖把这些数据送上来。

春节的时候,支付宝为什么要和微信争抢小额支付和社交场景的支付?不是为了那点手续费,就是为了它缺失的社交支付这一块。这块数据的价值,远超想象。

未来我们每个人的衣食住行、生活起居,都将有大量的数据记录。我们的行为会变成一串串数字成为可量化的数据,成为描述我们的信息。我们工作用云笔记、吃饭用饿了么、打车用滴滴、搜东西用百度、社交用微信,每一步都事无巨细被记了下来。

不信你可以翻出你历史所有在百度或者 Google 的搜索记录来,对你生活的描述绝对比你自己的日记都要真实。

这些数据将被转换成有价值的商业数据,来描述你各方面的信息。你喜欢黑色的衣服、你喜欢胸大的妹子、你比较文艺、你有高度近视、你最近刚失恋...... 关于你,可能这些数据比你爹妈都要清楚。

&lt;img src="https://pic2.zhimg.com/50/3b67117e66216233bacc4638fcd3aa35_hd.png" data-rawwidth="820" data-rawheight="299" class="origin_image zh-lightbox-thumb" width="820" data-original="https://pic2.zhimg.com/3b67117e66216233bacc4638fcd3aa35_r.png"&gt;最终,我们本身就是可以被量化的大数据对象,不存在多层的逻辑了。

最终,我们本身就是可以被量化的大数据对象,不存在多层的逻辑了。

这样的未来自然有利有弊。利是我们无处不在享受着大数据带来的便利,我们看到的每一条广告都会是我们自己喜欢的,我们查的每一条搜索记录都是根据我们特点来推荐的,我们在加好友时系统甚至都可以说他是不是会跟我们合得来。

弊在于,我们的隐私就暴露无疑。只要数据的拥有者想做点坏事,那真的是什么都有可能。

大数据绝不会止步在为决策仅仅提供帮助,它的终极形态就是可以用海量的数据描述我们一个个具体的个体。当达到这一步时,现在所谓的市场调研、用户分析就都是小儿科了。

因为,大数据已经完全能够塑造出我们了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容