香农熵
熵考察（香农熵）的是单个的信息（分布）的期望：反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。
交叉熵
交叉熵考察的是两个的信息（分布）的期望：
交叉熵和熵，相当于，协方差和方差
相对熵
相对熵考察两个信息（分布）之间的不相似性：
所谓相对，自然在两个随机变量之间。又称互熵，Kullback–Leibler divergence（K-L 散度）等。设p(x)和q(x)是X取值的两个概率分布，则p对q的相对熵为：
在一定程度上，熵可以度量两个随机变量的距离。KL 散度是两个概率分布 P 和 Q 差别的非对称性的度量。KL 散度是用来度量使用基于 Q 的编码来编码来自 P 的样本平均所需的额外的位元数。
典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或 P 的近似分布。
相对熵的性质，相对熵（KL散度）有两个主要的性质。如下
（1）尽管 KL 散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即
（2）相对熵的值为非负值，即
三者之间的关系：
简森不等式与 KL散度：
因为−lnx是凸函数，所以满足，凸函数的简森不等式的性质：
这里我们令f(⋅)=−lnx，则其是关于x的凸函数，因此：
也即 KL 散度恒大于等于 0；
联合熵
联合熵:（X,Y）在一起时的不确定性度量
条件熵
条件熵: X确定时，Y的不确定性度量
在X发生是前提下，Y发生新带来的熵。
联系：
？
如果是回归问题的，使用平方损失函数。分类问题建议使用交叉熵损失，用平方损失会出现如下问题：在误差较大时，损失函数比较平坦，更新较慢，还会出现梯度为0的情况，期望的情况是训练完成时，到达某个极值点，这时梯度为0，所以就没办法判断训练是否完成了。交叉熵损失就不会出现这种情况，在远离目标的时候，曲线比较陡峭。
来源：http://blog.csdn.net/lanchunhui/article/details/50970625
http://blog.csdn.net/lanchunhui/article/details/53365438
http://blog.csdn.net/lanchunhui/article/details/51277608
http://www.cnblogs.com/little-YTMM/p/5582271.html
