深度学习常用术语

字数 432阅读 53

1 线性可分

对于两类不同的 n 维点的集合 X_0X_1,如果存在一个向量 w \in \mathbb{R}^n 和一个标量 b \in \mathbb{R} 使得

w^Tx + b = \begin{cases} > 0 & x \in X_0 \\ < 0 & x \in X_1 \end{cases}

则称 X_0X_1线性可分的。换言之,X_0X_1 能够被一个超平面隔开。

注意:同维度的仿射变换不改变线性可分或不可分的性质,高维变换到低维可能会让本来线性可分的样本变得不可分,而低维变换到高维则不会破坏线性可分性。总之,在高维空间中样本更容易被线性分开。

高维度的数据一般会变得更加稀疏局部泛化性也极大的减弱了。

2 内积与卷积

内积

设有两个向量 a=(a_1, a_2, \ldots, a_n)^Tb=(b_1, b_2, \ldots, b_n)^T,它们的点积(或内积)定义为

(a, b) = \sum_{i=1}^n a_i b_i

从几何的角度来考虑 (a, b),即

(a, b) = ||a|| \cdot ||b|| \cos \langle a, b \rangle

结论1:如果 ||a|| = ||b|| = 1,那么可将其看作是 ab 的相似性度量,它们的相似性越高,则内积越大。

1D 卷积

对于两个离散的信号 fg,1D 卷积的定义:

(f * g)[n] = \sum_{m=- \inf}^{\inf} f[m] g[n-m]

从信号的角度,可以把卷积看作是一个滤波器,卷积的结果是被卷积信号在这个滤波器上的响应。所以,大体上越是和卷积核倒转之后相似的信号越是会获得较大的响应。

卷积和互相关

互相关与卷积的定义相似:

(f \otimes g)[n] = \sum_{m=- \inf}^{\inf} f[m] g[n+m]

在机器学习领域,卷积和互相关本质上的作用是一样的,故而并不严格区分它们。下文默认卷积都是指互相关。

推荐阅读更多精彩内容