01大数据简史

一、大数据前世今生

当下大数据时代已经来临,数据越来越成为公司的核心资产和主要竞争力,核心业务以及决策都需要数据来支撑。不懂大数据和机器学习的话,你可能连最基本的产品逻辑和商业意图都搞不清楚,那么你只能做一个没有思想的码农,无法实现人生跃迁。

今天我们常说的大数据,是由谷歌的三篇论文奠定的,就是广为人知的”三架马车“:分布式文件系统GFS、分布式计算框架MapReduce、NOSQL数据库系统BigTable。随机业务需求的倒逼与技术的迭代,大数据日趋成熟,演进的大数据架构如下图所示


Hadoop.png

二、大数据的应用发展

1、大数据搜索引擎时代

谷歌为了解决网页数据的存储、索引、词频统计等需求而研发的分布式存储系统以及分布式计算框架。

2、大数据数据仓库时代

数据仓库时代,只要有数据,那么必须要用到统计分析,面对日趋庞大数据,Hadoop大数据技术就被广泛应用

3、大数据应用的数据挖掘时代

随着大数据应用的不断深化,我们对数据有了更多的要求,需要挖掘出数据间的关联以及规律等有价值的信息,辅助商业决策。比如某大型购物中心,通过大数据分析出人们付款时候最喜欢随手拿的商品,那么我们可以把这些商品布局在收银旁边,提高了购买率。比如针对用户画像,为用户量身打造的推荐系统。比如当下的今日头条、抖音等产品,也是使用了数据挖掘技术,推荐给你最想看的内容。

4、大数据机器学习时代

利用大数据技术把历史全量数据收集起来,统计其规律,用于对未来趋势的预测,这就是机器学习。

三、大数据的应用领域

依赖于人的经验的领域,理论上可以用大数据与机器学习进行升级。


数据应用领域.png

四、总结

了解大数据与机器学习是我们未来的必修课,可以帮助你了解科技社会生活的变迁,本次是第一篇文章,讲解了大数据的发展以及应用,后续会有一系列的文章,帮助大家对大数据有一个全局的认知,感兴趣的朋友,持续关注我,谢谢!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 140,856评论 1 295
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 60,475评论 1 254
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 92,639评论 0 208
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 40,628评论 0 171
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 48,311评论 1 250
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,533评论 1 167
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,235评论 2 266
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,017评论 0 161
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 28,738评论 6 225
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,358评论 0 211
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,115评论 2 211
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,444评论 1 222
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,138评论 0 31
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 26,965评论 2 209
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,349评论 3 200
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,574评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 25,901评论 0 163
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,314评论 2 227
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,433评论 2 228

推荐阅读更多精彩内容

  • 作者|杜圣东“数据科学家走在通往无所不知的路上,走到尽头才发现,自己一无所知。”-Will Cukierski,H...
    Albert陈凯阅读 1,601评论 0 18
  • 初六 不停更。 老发一些有的没的,感觉要被说不务正业、不用再发、我已好了的话了~ 那今天,就说点新闻,社会新闻,严...
    littlestupid阅读 305评论 9 1
  • 中午去食堂吃饭,一学究式的同事因饭卡无钱,充卡未遂付现金遭拒,向本人求助。不是问题,区区五元,顺手就给刷上了...
    以十察一阅读 148评论 0 3
  • 幸福 不过是 手中的一杯水 被上帝 放了一粒糖 你 低头品味 千恩万谢 生活 不过是 十分的辛苦 与一分的幸福的 ...
    明月穿行阅读 216评论 0 10
  • 第23天 作业任务一 每周复盘分享 每个分享的小伙伴说得都挺有道理的。但去做才是硬道理。 演讲开始会比较紧张,不管...
    Ailsa_a73a阅读 96评论 0 1