Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
决定每周抽时间听听deeplearning.ai的课程，课程比较系统，有选择的跳过，顺道记录一下get到的关键点。
第一周
该部分主要包括两大块：
- 优化的第一步准备
- 归一化输入
- 梯度消失和梯度爆炸
- 权重初始化技巧
- 梯度检验实现技巧
- 正则化
- 正则化原理
- dropout
- 其他正则化技巧
初始化网络
归一化输入
在将输入直接作为神经网络输入之前，对其进行归一化操作，可以加快训练过程：
以二维特征举例，每次优化J，寻找梯度最大的方向，如果输入的两个特征规模差别太大，并不是直接朝向最优解，而是更加曲折；相反，如果输入特征规模一致或接近，梯度下降的最大方向更直接走向最优解。
梯度爆炸和梯度消失
如果不能很好选择初始权重或者激活函数，容易出现梯度爆炸或梯度消失。
图示，假设不使用激活函数，计L层神经网络。
[图片上传失败...(image-b5768c-1529497939486)]
如果W初始化为
，x经过L次阶乘，得到的结果会指数级增长，得到很大的y；相反如果W初始化为
，x会指数级减小，最终得到很小的y。同样的，在反向传播的过程中，梯度也会以相同的方式指数级升高或减小，造成梯度爆炸或消失，实现过程中出现数值的上溢或下溢。
解决或减轻上面的问题有一些方法：
- 随机初始化权重，打破权重的平衡
- 使用非线性的激活函数，如ReLu。
- clips gradients（设置梯度阈值，针对梯度爆炸）
- 循环神经网络中的LSTM（也会有解决梯度消失的效果）
初始化权重
下面来看初始化权重对梯度优化的影响，事实证明简单随机初始化权重并不是最好选择：
随着l层单元的个数的增大，我们希望该层的权重相应的小，由此使l+1层的单元输出不至于很大。因此有了He initialization：随机初始化权重：np.random.randn(..,..) 乘上
，使随机初始的权重随上层单元的维度降低。
初始化权重实验：
该部分通过不同方式的初始化，观察训练的过程：
- 初始为全0权重
- 高斯分布初始权重，乘10
- He initialization
1、全0初始化权重：
for l in range(1, L):
parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l-1]))
parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
训练曲线：
2、高斯分布初始权重（均值为0，方差为1），乘10：
for l in range(1, L):
parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * 10
parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
由于W的权重随机初始化，已经打破了权重的平衡，b可以初始化为0.
训练曲线:
过大的初始权重导致训练效果不佳。
3、He initialization
for l in range(1, L + 1):
parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * math.sqrt(2./layers_dims[l-1])
parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
训练曲线：
相同的迭代次数，He initialization的到了很好的效果。
实验小结：
- 不同的初始化会得到不同结果
- 随机初始化能打破权重平衡，确保所有的隐层学到不同的东西
- 不要随机初始化过高权重
- He initialization 非常适合 ReLU
小结
这里只总结了第一周的第一部分。试听了一周，觉得课程还是和之前的机器学习课程风格一致，用简单的公式和例子讲述模型背后的原理，良心作品。虽然对课程内容已经有所了解，但还是想系统的听一遍。
原创文章， 转载注明出处
更多关注公众号：
