在神经网络中,经常要使用到激活函数,对于激活函数的选用,我暂时没有找到很好的指导信息(如果有,麻烦告诉我),但是对于激活函数的选用,可以根据神经网络的用途及其场景,再加上对于激活函数的值域的了解,大致可以选定适合对应用途以及场景的激活函数;例如,对于分类器,最终输出的是输入样本,在某一类上的可能性(概率),而概率值一般在[0,1]之间,因而最后一层输出的时候,可以选用值域在[0,1]之间的激活函数,比如说sigmoid函数。诸如此类的问题,可以根据值域来选择激活函数的运用,下列是一些常见的激活函数,及其函数图像,我会不定期的添加我遇到的一些新的激活函数。
1.sigmoid激活函数
函数的定义为:
值域为(0,1)
函数图像如下:
2.tanh激活函数
函数的定义为:
值域为(-1,1)
函数图像如下:
3.Relu激活函数
来源: Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.
R Hahnloser, R. Sarpeshkar, M A Mahowald, R. J. Douglas, H.S. Seung (2000). Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit. Nature. 405. pp. 947–951
函数的定义为:
f(x) = max(0, x)
值域为[0,+∞)
函数图像如下:
4.Leak Relu激活函数
函数定义为:
值域为(-∞,+∞)
图像如下(α为0.5的情况)
5. SoftPlus激活函数
函数的定义为:
值域为(0,+∞)
函数图像如下:
6.Soft Max
函数定义为:
定义域为R
值域为[0,1]
7.Maxout
来源:Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
函数定义为:
值域(-∞,+ ∞)