Logistic Regression as a Neural Network
2-1 Binary Classification
第一讲说的比较简单， 简单的介绍了 input ouput 的概念
2-2 Logistic Regression 逻辑回归
逻辑回归是一种适用于二元分类的监督学习算法
逻辑回归的两个参数 w and b，w 为一个 nx 维矢量， b 为一个数
𝐺𝑖𝑣𝑒𝑛 𝑥 , 𝑦̂ = 𝑃(𝑦 = 1|𝑥), where 0 ≤ 𝑦̂ ≤ 1
Sigmoid function 是适用于 LR 算法的 逻辑函数
参考
2-3 Logistic Regression: Cost Function
这里面有两个测试算法准确度的函数
loss function: 简单就是说是预期的结果和真正的结果的比较函数，或者说单个训练样本的误差
cost function: 简单就是说 loss function 的一个平均值，或者说是针对整个训练集合的检测的误差
2-4 Gradient descent 梯度下降
梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。
下面是两种梯度下降的原理，是一样的，只不过在使用导数的符号上有所不同
参考
2-5, 2-6 derivatives 导数
2-7 2-8 Computation graph 计算图
计算图正向传播 forward 表示了计算过程
反向传播可以计算导数， 以为每一步都只有一个新的参数加入到计算中 所以利用前一个值的变化就可以推出新加入的参数的导数
导数是有公式的， 其实我的理解就是 下面的参数对上面的参数的影响 就是导数
2-9 Logistic Regression Gradient Descent
之后
讲了些 Python 处理数据的问题， Python 学习
写代码指导原则之一就是尽量不用 runloop， 两个向量相乘的时候 可以使用 numpy 的 dot
计算图的优点之一就是让我们的代码更清晰
知识点拾遗
激活函数 Activation Function
所谓激活函数，就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。常见的激活函数包括Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函数。这些函数有一个共同的特点那就是他们都是非线性的函数。
