机器学习之中级安排

此计划来自公众号:量化投资与机器学习,在此处只为了方便自己补充知识。

第一节:机器学习与Python库

1. Python基础:

numpy/scipy/matplotlib/panda的介绍和典型使用
多元高斯分布
典型图像处理
scikit-learn的介绍和典型使用
多种数学曲线
多项式拟合
快速傅里叶变换FFT
奇异值分解SVD
Soble/Prewitt/Laplacian算子与卷积网络

2. 代码和案例实践:

卷积与(指数)移动平均线
股票数据分析
实际生产问题中算法和特征的关系
缺失数据的处理
环境数据异常检测和分析

第二节:回归

1. 理论学习 :

线性回归
Logistic/Softmax回归
广义线性回归
L1/L2正则化
Ridge与LASSO
ElasticNet
梯度下降算法:BGD与SGD
特征选择与过拟合
Softmax回归的概念源头
最大熵模型
K-L散度

2. 代码和案例实践:

1.股票数据的特征提取和应用
2.泰坦尼克号乘客缺失数据处理和存活率预测
3.环境检测数据异常分析和预测
4.模糊数据查询和数据校正方法
5.PCA与鸢尾花数据分类
6.二手车数据特征选择与算法模型比较
7.广告投入与销售额回归分析
8.鸢尾花数据集的分类

第三节:决策树和随机森林

1. 理论学习:

熵、联合熵、条件熵、KL散度、互信息
最大似然估计与最大熵模型
ID3、C4.5、CART详解
决策树的正则化
预剪枝和后剪枝
Bagging
随机森林
不平衡数据集的处理
利用随机森林做特征选择
使用随机森林计算样本相似度
异常值检测

2. 代码和案例实践:

1.随机森林与特征选择
2.决策树应用于回归
3.多标记的决策树回归
4.决策树和随机森林的可视化
5.社会学人群收入预测
6.葡萄酒数据集的决策树/随机森林分类
7.泰坦尼克乘客存活率估计

第四节:SVM

1. 理论学习:

线性可分支持向量机
软间隔
损失函数的理解
核函数的原理和选择
SMO算法
支持向量回归SVR
多分类SVM

2.代码和案例实践:

1.原始数据和特征提取
2.调用开源库函数完成SVM
4.葡萄酒数据分类
5.数字图像的手写体识别
5.MNIST手写体识别
6.SVR用于时间序列曲线预测
7.SVM、Logistic回归、随机森林三者的横向比较

第五节:聚类

1.理论学习:

各种相似度度量及其相互关系
Jaccard相似度和准确率、召回率
Pearson相关系数与余弦相似度
K-means与K-Medoids及变种
AP算法(Sci07)/LPA算法及其应用
密度聚类DBSCAN/DensityPeak(Sci14)
谱聚类SC
聚类评价和结果指标

2.代码和案例实践:

1.K-Means++算法原理和实现
2.向量量化VQ及图像近似
3.并查集的实践应用
4.密度聚类的异常值检测
5.谱聚类用于图片分割

第六节:隐马尔科夫模型HMM

1.理论学习:

主题模型LDA
词潜入和word2vec
前向/后向算法
HMM的参数学习
Baum-Welch算法详解
Viterbi算法详解
隐马尔科夫模型的应用优劣比较
共轭先验分布
Laplace平滑
Gibbs采样详解
Metropolis-Hastings算法
MCMC

2. 代码和案例分析:

1.敏感话题分析
2.网络爬虫的原理和代码实现
3.LDA开源包的使用和过程分析
4.HMM用于中文分词
5.文件数据格式UFT-8、Unicode
6.发现新词和分词效果分析
7.高斯混合模型HMM
8.GMM-HMM用于股票数据特征提取

第七节:卷积神经网络

1.卷积神经网络介绍:

神经网络结构,滤波器,卷积,池化,激活函数,反向传播

  1. 目标分类与识别、目标检测与追踪
  2. 经典AlexNet
  3. 高级卷积网络模型:VGG、ResNet、GoogleLeNet、DenseNet
  4. 深度图片生成网络U-Net
  5. 物体检测:RCNN,Fast-RCNN,Faster-RCNN, FPN系列

2.代码和案例实践:

1.如何搭建自己的卷积神经网络
2.迁移学习(Transfer Learning)
3.基于CNN的图像识别
4.实时人脸检测系统(视频流处理+识别+定位 RCNN)
5.CNN文本分类
6.卷积神经网络调参经验分享

第八节:循环神经网络

1.理论学习:

RNN进阶
RNN基本原理
LSTM、GRU
注意力机制(Attention)
编码器与解码器结构
语言特征提取:word2vec
循环神经网络进阶模型
搭配CNN使用,组成CNN+LSTM模型
Bi-LSTM双向循环神经网络结构
Seq2seq模型

2.代码和案例实践:

1.如何搭建自己的循环神经网络
2.图片标注与图片问答
3.智能对话和阅读理解
4.循环神经网络调参经验分享

推荐阅读更多精彩内容