《数据科学入门》,一桌麻将我就数据科学入了门

在说这本《数据科学入门》之前,我们先来讨论一下啥叫入门?我觉得入门其实就是做两件事:一是带你看看这物件是个什么鬼,也就是进门前带你在门口瞅一瞅。二是给你指条该怎么整地路,也就是告诉你门怎么开。做好这两件事,我觉得这个入门工作就算是“入门”了。以上述观点来看,这本书只算入了一半的门:它倒是给数据科学来了一个全方位立体式地介绍,第一件事完成的很漂亮。可第二件事嘛,它有点带偏了:不介绍现成的Python库怎么使用,而是从新发明轮子:从零开始写代码。这感觉就是你要去北京,我先告诉你内燃机原理,然后你可以自己制作汽车上路了。好吧,也许学习数据科学的同时再练习一下Python技巧是作者的初衷吧。我倒是建议大家还是偷懒学学具体库比较直接。所以,下文我将主要捋顺数据科学的框架,具体工具建议大家还是换别的书比较靠谱。

好的,我们现在开始说点正经的。我觉得数据科学整体的流程跟打麻将是一样样的(怎么感觉不太像说正经的呢?)就是“洗牌,码牌,摸牌看牌,摸牌看牌,胡了”这整个流程。别不信,我们一点点捋。

不过在开始之前,我们还是要先说一说麻将的玩法规矩,对应到数据科学里,就是数学原理。(诶,别走啊!数学没那么可怕)

数据科学要用的数学主要包括:

线性代数:多维空间变来变去那点事。没办法,数据科学打交道的数一般都是多维的,所以熟悉这套变换法则是必须的。

概率论:可能性的运算规矩。数据科学要分析的都是可能性事件(废话,确定性的事还分析个啥),所以还是要懂规矩地。

统计学:基于概率论的方法论。详细内容请出门左拐,参看我的《 统计思维》一文。

最优化理论:最主要的就是梯度下降法,可谓一招仙吃遍天。

好吧,上述数学知识我知道大家都还给老师了,还好书里有核心知识简介,大家可以简单地仔细看一下,唤起尘封的记忆。

现在开始打麻将了(知道你就等这个)。第一步,洗牌——数据收集。没麻将你打啥牌,没数据你分析啥。所以无论是网络爬虫,还是网页埋点,先呼啦呼啦把数据摆上桌再说。当然,少不了文件读取这样的基本功咯。

第二步,码牌——数据清洗和整理。你要是问为啥数据清洗不对应洗牌呢?我的回答是三个字:不愿意。其实数据清洗和整理是将数据规范化格式化的过程,对应的正是麻将里的码牌,把散乱的牌码整齐。和码牌一样,数据清洗和整理绝对是体力活——包括检查数据一致性,处理无效值和缺失值等等,这一步要花去你整个数据分析过程的绝大多数时间。耐心干活吧!

第三步——摸牌看牌。牌码好了,可以正式开始打牌了,是不是有点小兴奋?先等等,你知道怎么胡牌吗?为了胡牌,我们现在常用的技术是机器学习,就是给机器一套规则,一个判断标准,然后让机器自己在数据中锻炼自己。当然,这个规则就多种多样了,相当于各种胡牌方法:

谁近谁说了算的k近邻就是小屁胡。

将数据用简单直线表示的线性回归就是对对胡。

将数据通过变换映射到直线上再线性预测的逻辑回归是七小对。

考虑每一次决策使信息熵最大化的决策树是清一色。

不停调整细胞传递系数的人工神经网络是大三元。

还有不靠标记自己拉帮结派的聚类是十三幺。

……

算法很多,种有一款适合你。

第四步,胡牌——训练出可用模型,可以从数据中发现有预测未来能力的价值。当然,数据科学跟麻将不一样,不是算法越难回报越大。数据科学讲究不管黑猫白猫,抓住老鼠就是好猫。所以屁胡和十三幺一样,只要胡牌就是赢。

你以为到这里我们就说完了吗?并没有。如同各地有各自的麻将打法,数据科学也有不同的方向。比如有像血战到底的自然语言处理,分析语义、当前大火。还有像胡吃乱碰推倒胡的推荐系统,技术成熟,应用广泛……

总之,数据科学就如同麻将一样,千变万化,魅力无穷。你是不是也手痒了,想来摸两把。那就先从这本《数据科学入门》开始吧。

满分五星,《数据科学入门》我给三星。对于又想学数据科学,又想练习Python的小伙伴,不妨好好看一下。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,265评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,274评论 1 288
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,087评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,479评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,782评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,218评论 1 207
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,594评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,316评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,955评论 1 237
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,274评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,803评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,177评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,732评论 3 229
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,953评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,687评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,263评论 2 267
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,189评论 2 258

推荐阅读更多精彩内容