21篇文章 · 56480字 · 1人关注
-
Training注意事项1. 运用指数下降+动量形式的优化方式有时候不一定是最好的，那么我们一般在训练的时候最好先用Adam优化器进行训练，当我们了解了Adam大致能达...
-
softmax函数求导过程softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我...
-
卷积操作是如何在RGB三通道上操作的大家的印象中卷积的计算过程是不是如下图？ 而实际上，这只是一种你说的channel等于1的灰度图输入的情况。 一般情况下的计算过程是这样的： 左...
-
Global average pooling (GAP)
Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：...
-
学习率学习速率（learning rate，η） 运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率α。下面...
-
过拟合及解决方案是什么 过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样...
-
机器学习术语表机器学习术语表 本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。 A A/B 测试 (A/B testing) 一种...
-
多分类任务为什么用softmax而不用其他归一化方法
有两点原因。 softmax的形式为：P(y=i)=\frac{exp(\Sigma_dw_{id}x_d)}{\Sigma_jexp(\Sig...
-
softmax与svm比较1、SVM 上图作图为通过f(x,w)得到输入图像的输出值，这里成为scores （34） * （41）》》3*1的输出值 右图 （34） （4...
文集作者
