关键词：小随机数初始化、Xavier initialization、Batch Normalization 批量归一化
全零初始化：错误！
在训练完毕后，虽然不知道网络中每个权重的最终值应该是多少，但如果数据经过了恰当的归一化的话，就可以假设所有权重数值中大约一半为正数，一半为负数。
如果权重初始值都为0，那么网络中的每个神经元都计算出同样的输出，然后它们就会在反向传播中计算出同样的梯度，从而进行同样的参数更新。那么这样一个具有很多隐藏单元的网络结构就是完全多余的表达，最终该网络只能学到一种特征。这种现象称为：对称权重（Symmetric ways）
所有权重相同的问题称为对称权重（Symmetric ways），随机初始化解决的就是如何打破这种对称性。
小随机数初始化
实现方法：W = 0.01 * np.random.randn(D,H) 。其中randn函数是基于零均值和标准差的一个高斯分布来生成随机数的。
根据这个式子，每个神经元的权重向量都被初始化为一个随机向量，而这些随机向量又服从一个多变量高斯分布，这样在输入空间中，所有的神经元的指向是随机的。也可以使用均匀分布生成的随机数，但是从实践结果来看，对于算法的结果影响极小。
实验：使用tanh非线性神经元，然后对于权重进行小随机数初始化
在第一层，权重基本符合高斯分布，但是从第三层开始权重的mean和方差都开始趋近于0，因为tanh也会发生权重弥散现象，将实数缩小在（-1,1）的范围内，随着层数的增加，输出的数越来越小，权重的方差也越来越小，那么在反向传播时，很小的输出 * 很小的权重，后面的层基本就不在发生变化了。
如果使用 W = 1.0 * np.random.randn(D,H) 来初始化权重，几乎所有的神经元都将饱和（输出-1或者1），在反向传播时，梯度为0，梯度弥散。
更优方案：Xavier initialization
使用小随机数初始化存在一个问题，随着输入数据量的增长，随机初始化的神经元的输出数据的分布中的方差也在增大。我们可以除以输入数据量的平方根来调整其数值范围，这样神经元输出的方差就归一化到1了。保证了网络中所有神经元起始时有近似同样的输出分布，实践经验证明，这样做可以提高收敛的速度。
w = np.random.randn(fan_in,fan_out) / sqrt(fan_in)。fan_in 输入数据量
优化方案：ReLU - Xavier
由上图可以看出，其实权重的方差随着神经网络的层数的增加也在减少，这是在tanh 非线性神经元的情况下，如果使用的是ReLU非线性神经元的话，由于ReLU自身性质，一半的输出会变成0，那么在反向传播后，权重的方差会减半。所以一般会加上一个2倍，来进行权重初始化
w = np.random.randn(fan_in,fan_out) / sqrt(2.0 / fan_in)
权重初始化是一个Data - Driven的过程，可以先用2-3个神经元进行尝试，查看输出是否符合高斯分布、权重的方差是否为0，权重是否爆炸等等。
Batch Normalization 批量归一化
初始化权重很难处理，我们希望激活层的输出是符合高斯分布。那我们在全连接层与激活层之间，加上一个网络，对于每个维度的数据计算均值和方差，然后把他们批量归一化为高斯分布的数据。
但这种做法有一个致命的缺点，尽管这样把每层的数据分布都固定了，但是这种分布不一定是前面一层的要学习到的数据分布，这样强行归一化就会破坏掉刚刚学习到的特征，BN算法的第二步就解决了这个缺点。
BN算法在第二步（如下图）中设置了两个可学习的变量γ和β，然后用这两个可学习的变量去还原上一层应该学到的数据分布，添加这种操作的目的就是还原出上一层需要学习的数据分布，这样BN就把原来不固定的数据分布全部转换为固定的数据分布，而这种数据分布恰恰就是要学习到的分布，从而加速了网络的训练。
以下转载自：知乎- 魏秀参
为什么要使用BN？
防止“梯度弥散”（0.9^30 = 0.04）。在BN中，是通过将activation的输入规范为均值和方差一致的手段，使得原本会减小的activation的scale变大。
什么时候使用BN呢？
在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度。、
以下转自：CSDN-lhanchao
BN算法在训练和测试时的应用
BN算法在训练时的操作就如我们上面所说，首先提取每次迭代时的每个mini-batch的平均值和方差进行归一化，再通过两个可学习的变量恢复要学习的特征。 但是在实际应用时就没有mini-batch了，那么BN算法怎样进行归一化呢？
实际上在测试的过程中，BN算法的参数就已经固定好了，首先进行归一化时
平均值 = 所有mini-batch的平均值的平均值
方差 = 每个batch的方差的无偏估计(无偏估计介绍见什么是无偏估计？——知乎) 、
BN算法在CNN中的应用
BN算法在CNN中往往放在每个卷积层之后，ReLU操作之前。在CNN中操作时，BN算法把每个特征图看作一个神经元，计算该特征图对应数据的均值和方差进行归一化，并且每个特征图对应两个学习变量γ和β。
具体的算法和代码可点击链接查看CSDN-lhanchao
