入门神经网络:前馈

96
Kulbear
0.1 2017.02.12 12:02* 字数 1446

下一篇传送门

英文原文,虽然也是我写的 Chinglish,但是因为之前在加拿大某小村校上学导致中文术语可能会表述不准。

文章和代码都在这儿,用来骗 欢迎Star GitHub repo

准备工作

读懂这篇文章,需要你有以下方面的知识

  • 如何求导数
  • 基本的矩阵乘法

如果有下列知识就更好了

  • 懂一点机器学习的知识,比如线性回归
  • 知道什么是 感知机(perceptron)

有任何没看懂的部分,欢迎留言,信不信我半小时内秒回。

一个巨简单的神经网络(A Deadly Simple NN)

如果你对神经网络(neural network)感兴趣或者关注过相关的文章,那下图中的这个模型想必你不会感觉很陌生。

一个人工神经网络模型

不过这个可能对于初学者有点不太友好?那看看下面这个简化版的

一个无隐层的神经网络

图里的这些东西,咱们一个一个的捋一遍。每个蓝色的圆代表一个神经元(neuron)。每个方块代表一个运算,比如 + 代表求和。上图中最左边的三个神经元组成了输入层(input layer),包含一个 h 的神经元组成了输出层(output layer),并且这一层只有这一个神经元。

输出层神经元的输入值

对于生物学意义上的神经元来说,通常存在一个阈值(threshold)来使其达到兴奋的状态,也就是被激活。在我们所讨论的神经网络中,我们的神经元将会通过输入值和激活函数(activation function)计算一个输出值。激活函数最值得称赞的一点就是它可以是任何类型的函数,包括但不限于跃阶函数,多项式函数或者 sigmoid 函数。h 是输出神经元的输入值,结合激活函数,输出神经元会输出 f(h) 计算的结果 y,也就是整个神经网络的输出值。

如果你选择 f(h) = h 作为你的激活函数,那么你的神经网络输出结果将会是下图中的这个公式,这里 y = f(h)

神经网络的输出

如果你觉得这看起来是一个线性回归的模型,那就对了。如果你的激活函数是连续可导的,那么(通常情况下)你就可以使用一个叫做 梯度下降(gradient descent) 的方法来训练你的网络。不过这理解起来要稍微麻烦一点,在我们深入到训练的步骤之前,我们先来编写一个很简单的程序来了解神经网络作出预测的过程。我们将使用 sigmoid 函数作为激活函数, Python 作为编程语言。预测的这个过程是一种前馈(feedforward)的计算,仅仅有这一部分的神经网络是不能学习的(例如,通过反向传播(backpropagation)),但我们稍后再关注训练学习的部分。

Sigmoid 函数
import numpy as np

def sigmoid(x):
    # sigmoid function
    return 1/(1 + np.exp(-x))

inputs = np.array([0.7, -0.3])
weights = np.array([0.1, 0.8])
bias = -0.1

# calculate the output
output = sigmoid(np.dot(weights, inputs) + bias)

print('Output:')
print(output)

代码跟这儿呢

第一个单隐层神经网络(Your First 2-Layer NN)

注:单隐层,即为包括一个隐层,一个输出层的神经网络,输入层和输出层因为是必须的,所以不计数。

现在你已经基本知道了一个神经网络是怎么计算预测结果的。在现实生活中,我们面临的预测问题往往十分复杂,这样简单的网络结构可能远远不够。这里我们要引入一个新的概念,隐层(hidden layer)

一个拥有三个输入层神经元,两个隐层神经元和一个输出层神经元的神经网络

在第一部分那个简单的网络模型中,我们的权重(weight)是一个向量。但是对于多数神经网络来说,其实权重将会是一个如下图一样的矩阵。

三个输入层神经元和两个隐层神经元的权重矩阵

结合第一部分的理解和上面单隐层神经网的模型,你也许已经知道怎么通过这个模型计算 h1 的具体数值了。我们给出一个简单的公式定义

计算隐层神经元输入值的公式

对于我们所关注的这个单隐层模型来说,它是下面这样的

计算隐层输入值的矩阵乘法

注意!!:上图中的权重下角标已经更改为矩阵的表达方式,并不是和单隐层神经网络图中的下角标所对应的。因为在矩阵的表达方法中,是用行/列的顺序来标注的。所以如果用示意图中的方法标注的话,会造成一些误会。

用先前神经网络模型图中的下角标所标注的矩阵

记住,上图中的这个计算过程使用的并非是矩阵使用的角标,但这个和我们上面单隐层神经网络的示意图中的标注是一致的。

结合上面所学的知识,我们可以快速构建一个单隐层神经网络的前馈(即预测)过程了。我们仍然使用 sigmoid 函数作为我们的激活函数(并且在之后很长时间都会用这个函数)。

待办事项:

  • 计算隐层的输入值
  • 计算隐层的输出值
  • 计算输出层的输出值
  • 计算输出层的输出值
import numpy as np

def sigmoid(x):
    # sigmoid function
    return 1/(1+np.exp(-x))

# 神经网络各层神经元数量
N_input = 3
N_hidden = 2
N_output = 1

np.random.seed(42)
# Make some fake data
X = np.random.randn(4)

# 生成输入层到隐层/隐层到输出层权重
weights_in_hidden = np.random.normal(0, scale=0.1, size=(N_input, N_hidden))
weights_hidden_out = np.random.normal(0, scale=0.1, size=(N_hidden, N_output))

# 计算隐层的输入值/输出值
hidden_layer_in = np.dot(X, weights_in_hidden)
hidden_layer_out = sigmoid(hidden_layer_in)

print('Hidden-layer Output:')
print(hidden_layer_out)

# 计算输出层的输入值/输出值
output_layer_in = np.dot(hidden_layer_out, weights_hidden_out)
output_layer_out = sigmoid(output_layer_in)

print('Output-layer Output:')
print(output_layer_out)

代码在这儿

参考资料

Thanks for reading. If you find any mistake/typo in this blog, please don't hesitate to let me know, you can reach me by email: jyang7[at]ualberta.ca

CV / DL
Web note ad 1