卷积网络 这里讨论通过卷积的方式表达CNN反向传播 池化层 假设我们的池化区域大小是2x2，并且下一层的梯度为： 如果是MAX，假设我们之前在前...

The Communication Problem 当将神经网络的训练并行化到许多GPU上时，你必须选择如何将不同的操作分配到你可用的不同GPU...

许多概率模型（通常是无向图模型）由一个未归一化的概率分布定义，我们必须除以配分函数来归一化 对数似然梯度 通过最大似然学习无向模型特别困难的原因...

采样和蒙特卡洛方法 当无法精确计算和或积分（例如，和具有指数数量个项，且无法被精确简化） 时，通常可以使用蒙特卡罗采样来近似它 根据大数定理，如...

结构化概率模型为随机变量之间的直接作用提供了一个正式的建模框架。这种 方式大大减少了模型的参数个数以致于模型只需要更少的数据来进行有效的估计。 ...

我们可以将监督学习训练的前馈网络视为表示学习的一种形式。具体地，网络的最后一层通常是线性分类器，如 softmax 回归分类器。网络的其余部分学...

自编码器的一般结构 从自编码器获得有用特征的一种方法是限制 h 的维度比 x 小，这种编码维度 小于输入维度的自编码器称为欠完备（underco...

线性因子模型是一种最简单的基于潜变量的概率模型；它通过对h的线性变换以及添加噪声来生成x。 因子分析和probabilistic PCA都是线性...