Batch normalization和weight normalization

https://blog.csdn.net/lqfarmer/article/details/72518331

刚开始做实验就想把看到的都应用上,但是batch normalization并不适用于文本,主要是batch normalization主要用于图像中的通道维度求平均和归一化,比如图片有红,蓝,绿三个channel,会给对应的像素点在这三个通道上求归一化,而RNN的输出或者是输入都是时序数据,并没有通道概念,并且词向量做归一化可能效果并不好,我还没有试过。

推荐阅读更多精彩内容