神经网络输入中偏置量bias的作用

96
夏天和冬瓜茶
2017.08.20 14:43* 字数 271

一直对神经网络模型输入中增加一个输入为1的偏置量表示疑惑,这两天查了资料终于弄明白了,现记录下来,有需要的拿去不谢。

考虑一个简单的单输入单输出模型,如图1所示。x为输入,w为权重,活化函数取sigmoid函数,那么输出为y=sig(wx)。其中,权重w就是我们需要训练的模型参数。

图1:单输入单输出神经网络模型

通过程序模拟,不同的w,输出曲线都相交于一点(0,0.5)。输出曲线只能改变形状,不能挪动位置,网络分类的表现力大大受限。

图2:不带偏置量神经网络输出曲线

现在我们加入偏置量,网络结构变成图3这个样子。输出为y=sig(wx+b)。

图3:带偏置量神经网络模型

同样模拟得出曲线如图4。输出曲线变形,位移都可以,随心所欲。

图4:带偏移量神经网络输出曲线

总结:偏置量的作用是给网络分类增加平移的能力。
日记本
Web note ad 1