1 线性可分
对于两类不同的 维点的集合
和
，如果存在一个向量
和一个标量
使得
则称 和
是线性可分的。换言之，
和
能够被一个超平面隔开。
注意：同维度的仿射变换不改变线性可分或不可分的性质，高维变换到低维可能会让本来线性可分的样本变得不可分，而低维变换到高维则不会破坏线性可分性。总之，在高维空间中样本更容易被线性分开。
高维度的数据一般会变得更加稀疏，局部泛化性也极大的减弱了。
2 内积与卷积
内积
设有两个向量 与
，它们的点积（或内积）定义为
从几何的角度来考虑 ，即
结论1：如果 ||a|| = ||b|| = 1，那么可将其看作是 与
的相似性度量，它们的相似性越高，则内积越大。
1D 卷积
对于两个离散的信号 和
，1D 卷积的定义：
从信号的角度，可以把卷积看作是一个滤波器，卷积的结果是被卷积信号在这个滤波器上的响应。所以，大体上越是和卷积核倒转之后相似的信号越是会获得较大的响应。
卷积和互相关
互相关与卷积的定义相似：
在机器学习领域，卷积和互相关本质上的作用是一样的，故而并不严格区分它们。下文默认卷积都是指互相关。
