如何成为一名数据科学家

数据科学家之旅

上图是IBM Watson的首席技术专家Swami Chandrasekaran编撰的数据科学家地铁图,可以说是数据科学家的技能修炼指南,分享出来,供「骨骼惊奇」之人慢慢修炼。

欲练此功,必先埋头苦读。

一、基础

1、矩阵和线性代数基础
2、散列函数、二叉树和O(n)
3、关系代数、DB基础
4、inner/outer/cross/theta连接
5、CAP原理
6、Tabular Data
7、Data Frames & Series
8、Sharding
9、OLAP
10、多维数据模型
11、ETL
12、报告 vs BI vs 分析
13、JSON和XML
14、NoSQL
15、正则表达式
16、Vendor Landscape
17、环境部署

二、统计

1、选择数据集(UCI Repo)
2、描述统计学(mean/median/range/SD/var)
3、探索性数据分析
4、直方图
5、百分数和极值
6、概率论
7、贝叶斯理论
8、随机变量
9、累计分布函数
10、连续分布(正态、泊松、高斯)
11、偏度
12、方差分析(ANOVA)
13、概率密度分布
14、中心极限定理
15、蒙特卡罗方法
16、假设验证
17、p值
18、卡方检验
19、估计
20、置信区间
21、极大似然估计
22、核密度估计
23、回归
24、协方差
25、相关性
26、皮尔逊相关系数
27、最小二乘法
28、 欧氏距离

三、编程

1、Python基础
2、Excel使用
3、R安装
4、R基础
5、表达式
6、向量
7、矩阵
8、数组
9、因子
10、列表
11、数据框
12、读取CSV
13、读取原始数据
14、构建数据集
15、操作数据集
16、函数
17、因子分析
18、安装包

四、机器学习

1、什么是ML
2、数值变量
3、分类变量
4、监督学习
5、非监督学习
6、概念、输入和特征
7、训练集和测试集
8、分类
9、预测
10、Lift曲线
11、过拟合
12、偏差和方差
13、树和分类
14、分类正确率
15、决策树
16、Boosting
17、朴素贝叶斯分类器
18、K邻近分类
19、逻辑回归
20、排序
21、线性回归
22、Perception
23、层次聚类
24、K-means聚类
25、神经网络
26、情感分析
27、协同过滤
28、标注

五、文本挖掘/自然语言处理

1、语料库
2、命名实体识别
3、文本分析
4、UIMA
5、词文档矩阵
6、词频和权重
7、支持向量机
8、关联规则
9、Market Based Analysis
10、特征提取
11、使用Mahout
12、使用Weka
13、使用自然语言工具包
14、文本分类
15、词汇映射

六、可视化

1、Data Exploration in R
2、Uni, Bi & Multivariate Viz
3、ggplot2可视化包
4、直方图和饼图
5、树图和矩形树图
6、散点图
7、折线图
8、空间图
9、Survey Plot
10、时间轴
11、决策树
12、D3.js
13、IBM ManyEyes
14、Tableau

七、大数据

1、MapReduce框架
2、Hadoop组件
3、HDFS:Hadoop的分布式文件系统
4、数据复制原理
5、安装Hadoop
6、名称和数据节点
7、任务跟踪
8、Map/Reduce编程
9、Sqoop: Loading Data in HDFS
10、Flue, Scribe: For Unstruct Data
11、SQL with Pig
12、DWH with Hive
13、Scribe, Chukwa For Weblog
14、Using Mahout
15、Zookeeper Avro
16、Storm: Hadoop Realtime
17、Rhadoop, RHipe
18、rmr
19、Classandra
20、MongoDB, Neo4j

八、数据获取

1、Summary of Data Formats
2、数据发现
3、数据来源与采集
4、数据集成
5、数据融合
6、转换和浓缩
7、数据调查
8、Google OpenRefine
9、How much Data
10、使用ETL

九、数据清洗

1、维度与数值归约
2、数据规范化
3、数据清洗
4、缺失值处理
5、无偏估计量
6、分箱稀疏值
7、特征提取
8、去噪
9、抽样
10、分层抽样(Stratified Sampling )
11、主成分分析(Principal Component Analysis)

十、工具箱

1、MS Excel / Analysis ToolPak
2、Java, Python
3、R, R-Studio, Rattle
4、Weka, Knime, RapidMiner
5、Hadoop Dist of Choice
6、Spark, Storm
7、Flume, Scribe, Chukwa
8、Nutch, Talend, Scraperwiki
9、Webscraper, Flume, Sqoop
10、tm, RWeka, NLTK
11、RHIPE
12、D3.js, ggplot2, Shiny
13、IBM Languageware
14、Cassandra, MongoDB

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容