神经网络输入中偏置量bias的作用

一直对神经网络模型输入中增加一个输入为1的偏置量表示疑惑,这两天查了资料终于弄明白了,现记录下来,有需要的拿去不谢。

考虑一个简单的单输入单输出模型,如图1所示。x为输入,w为权重,活化函数取sigmoid函数,那么输出为y=sig(wx)。其中,权重w就是我们需要训练的模型参数。

图1:单输入单输出神经网络模型

通过程序模拟,不同的w,输出曲线都相交于一点(0,0.5)。输出曲线只能改变形状,不能挪动位置,网络分类的表现力大大受限。

图2:不带偏置量神经网络输出曲线

现在我们加入偏置量,网络结构变成图3这个样子。输出为y=sig(wx+b)。

图3:带偏置量神经网络模型

同样模拟得出曲线如图4。输出曲线变形,位移都可以,随心所欲。

图4:带偏移量神经网络输出曲线

总结:偏置量的作用是给网络分类增加平移的能力。

推荐阅读更多精彩内容

  • 前进的道路上,我们将扩展出很多关于神经网络的关键的思想,其中包括两个重要的人工神经元 (感知机和 S 型神经元),...
    郭少悲阅读 211评论 0 0
  • 我啊,最近10年,固执地按惯性运动着,被绳子捆着吊着,放不下工作,舍不得花钱,又因为老去而沮丧得不行,牢牢卡在人生...
    教主说阅读 74评论 1 0
  • 突然很想去流浪,一分一秒都不想浪费。 漫无目的地行走,一双合脚的鞋子,一双发现你或者忽略你的眼睛,走遍世界。 太匆...
    洄小溪阅读 212评论 0 2