TensorFlow学习笔记(二)ReLU、Softmax、Cross Entropy

96
雪球行动
2017.09.07 20:09* 字数 99

ReLU是常用在隐藏层的激活函数,Softmax是常用在输出层的激活函数,Cross Entropy

ReLU

数学公式:

f(x)=max(x,0)

当x小于0时,y=0,当x >= 0时,y=x。

Softmax

数学公式:

Softmax示例

将任意一组输入,压缩为一组和为1的数。
TensorFlow实现:

x = tf.nn.softmax([1.2, 0.9, 0.4])

Cross Enropy

Cross entropy loss funtion

TensorFlow实现:

cross_entropy = tf.reduce_sum(tf.multiply([0.0, 1.0, 0.0], tf.log([0.1, 0.5, 0.4]))
深度学习
Web note ad 1