1.损失函数：
损失函数可以直观的刻画分类的错误率，但是因为其非凸，非光滑的特点，使得算法很难对其进行直接优化
2.Hinge损失函数(SVM)
= max {0,1-fy}
Hinge损失函数是1损失函数的一个代理损失函数，也是其紧上界，当 时，不对模型做惩罚。可以看到，hinge损失函数在
处不可导，因此不能用梯度下降法对其优化，只能用次梯度下降法。
3.Logistic损失函数
Logistic损失函数是1损失函数的另一个代理损失函数，它也是1损失函数的凸上界，且该函数处处光滑。但是该损失函数对所有样本点都惩罚，因此对异常值更加敏感。当预测值时，另一个常用的代理损失函数是交叉熵损失函数
4.Cross-Entropy损失函数
交叉熵损失函数也是1损失函数的光滑凸上界
5.Exponential损失函数(AdaBoost)
指数损失函数是AdaBoost里使用的损失函数，同样地，它对异常点较为敏感，鲁棒性不够
6.Logistic损失函数(LR)
逻辑回归的表达式如下：
