全栈数据,主要技术点

生命之源

0. 缘起

本文仅仅只是列出一些知识点,拟做为内部技术分享的点,只是对『全栈数据』技术点有一个概要性的了解。

列出的点,99%都是自己的经验,或接触、或了解、或实战的内容。

本文对你不一定有多大的技术提升,因为很多点都需要扩展开来介绍,才更有意思。

如果有想法,请提更多的意见。


1. 平台技术

  1. 分布式计算平台 (Hadoop)
  • Google的论文:hdfs与map-reduce
  • Yahoo实现的开源版本
  • 三大平台:Cloudera/Hortonworks/DataStax
  1. 深度学习平台(GPU)
  • Nvidia: 显卡
  • Linux环境
  • cuda环境
  • intel-mkl
  • cudnn

重点:环境搭建,部分做数据分析的人,可能会卡在环境的搭建上,主要需要Linux技能。


2. 全栈基础

  1. SQL技术
  2. Linux及Shell, vim/find/grep/sed/awk/git
  3. 统计、概率基础
  4. 编程能力(以工程为导向)
  5. 大数据框架
  6. 数据处理&算法
  7. 笔记与文档(markdown)

重点:全面的熟悉数据科学中的知识点。


3. 分布式技术

  1. hadoop(hdfs&mr)
  2. Hive(sql)
  3. Spark(rdd,df,sql)
  4. Sqoop
  5. Hbase/Cassandra
  6. 采集与消息队列:Flume/Kafka/Storm
  7. 全文索引(solr, elasticsearch)

重点:熟悉处理海量数据的常用工具,存储与分析,每个工具的适用场景


4. 数据库技术

  1. MySQL
  2. Postgresql
  3. MongoDB
  4. Redis

重点:数据库是数据分析中最常用的依托,熟悉SQL语句,以及如果使用Python来进行数据处理。


5. 语言技术

  1. SQL语句(常用join语句)
  2. python
    python2与python3的问题
    库:numpy, pandas, scikit-learn,nltk, pyltp, pyspark、anaconda
  3. R
    学术界,快速建模
  4. Scala、java

重点:学习语言,是自动化处理数据和建模的必备工具,SQL必备,Python与R至少需要熟悉一种。要工程应用,Python是必备。


6. 数据挖掘

  1. 数据采集:rsync, api, MQ, 爬虫(scrapy)
  2. 数据清洗:SQL,Linux,py,R
  3. 特征工程:特征选择,特征变换
  4. 算法建模:各种框架与算法
  5. 模型评估:precision,recall,f1,mse
  6. 应用与可视化

重点:了解数据处理的一些常用方法,理解特征工程的方法,熟悉主流挖掘算法的基本过程,会调用相应的库来建模,理解算法评估的常用指标。


7. 机器学习

  1. 聚类、分类、回归
    kmeans, knn, logistic regression, linear regression, navie bayes, 决策树、随机森林、神经网络、Xgboost

  2. 自然语言处理
    CRF、分词、实体识别、语义分析,word2vec,深度学习(cnn,rnn)

  3. 个性推荐,用户画像

  4. 深度学习
    应用(非结构化):图片,语音,视频,自然语言处理
    算法:auto encoder, cnn, rnn, lstm
    框架:tf/keras/mxnet/caffe/pytorch

  5. 遗传算法:优化,ga, gp

重点:理解主流算法的应用场景及其主要参数,熟悉自然语言处理中一些基本的方法,理解深度学习的主要思想,熟悉一、两个深度学习框架,能使用迁移学习做一些图片分类的任务。


8. Web与可视化

  1. Excel, matplotlib, seaborn
  2. Django/Flask,JS/Html5/css3(Web开发)
  3. superset(druid, mysql, postgresql, 简单易用的数据可视化界面)
  4. zeppelin(支持分布式环境的Web笔记)
  5. beakernotebook(ipython、jupyter,支持多种语言的Web笔记)
  6. Orange3(图形化的Web挖掘工具)
  7. airflow(Data pipeline监控)
  8. DataScienceStudio(基于Web的数据分析、建模工具)

重点:数据可视化工具,数据可视化挖掘工具,交互式笔记工具,事半功倍的工具,数据分析入门的好工具,个人珍藏收集。


9. Spark全栈

  1. RDD/DataFrame
  2. ML/MLLib
  3. SQL
  4. Streaming
  5. GraphX(PageRank)
  6. spark/pyspark/sparkR

重点:当今世界最流行、不可多得的、分布式的,全栈数据处理、分析、挖掘环境。


10. H2O框架

  1. h2o-flow(基于Web的自动化建模环境)
  2. 算法(drf, gbdt, word2vec,glrm)
  3. sparkling water(结合Spark的优势)
  4. deepwater(深度学习环境)
  5. steam(建模与部署一体化)

重点:如生命离不开水一般,简单、优雅的数据挖掘、深度学习环境。高效的算法执行速度,高精度的算法产出。

关注微信公众号『全栈数据』,回复:qzsjzsd,获取pdf版本下载地址与密码。

全栈数据 公众号

推荐阅读更多精彩内容