机器学习基础

预备知识

\mathcal{I} 表示输入数据 x 的数据空间, 被称为输入空间 (input space). \phi 是一个映射, 令 \mathcal{F} = \mathcal{I}^{**} 表示特征空间 (feature space).

  • 数据实例 x 可以任意对象, 如文本, 序列, 图像, 字符串等;
  • 对于给定的数据实例 x, \phi(x) 是一个向量, 被称为特征向量.

内积运算 K: \mathcal{I \times I} → \mathbb{R} 定义为 \mathcal{I} 上的核函数 为 , 即
∀ x_i, x_j \in \mathcal{I}, \; K(x_i,x_j) = ⟨\phi(x_i),\phi(x_j)⟩

D= \{x_i\}_{i=1}^n \subset \mathcal{I} 为输入空间中包含 n 个对象的数据集, 则将 D 中的点对间的核函数 (亦称为相似度函数, 或核) 表示为一个 n \times n核矩阵, 定义为
\mathbf{K} = \begin{pmatrix} K(x_1,x_1) & K(x_1,x_2) & \cdots & K(x_1,x_n) \\ K(x_2,x_1) & K(x_2,x_2) & \cdots & K(x_2,x_n) \\ \vdots & \vdots & \ddots & \vdots\\ K(x_n,x_1) & K(x_n,x_2) & \cdots & K(x_n,x_n) \\ \end{pmatrix}

核方法避免了显式地将输入空间中的每个点 x 变换到特征空间中的映射点 \phi(x), 而是直接通过核矩阵来获取. 这样,所有的相关分析均可转移到对核矩阵的研究上来. 当然, 核矩阵也可以看作对应 n 个输入点的完全图的带权邻接矩阵.

对于输入空间中的任一 x \in \mathcal{I}, 都被映射到如下函数 (被称为再生核映射):
\phi(x) = K(x,\cdot)
其中 \cdot 代表 \mathcal{I} 中任一参数. 这意味着输入空间中的每一个对象 x 都映射到一个特征点 \phi(x), 该特征点事实上是一个函数 K(x,\cdot), 代表了该点与输入空间 \mathcal{I} 中其他点的相似度.


\begin{aligned} \mathcal{F} &= \operatorname{span} \{K(x,⋅): x \in \mathcal{I}\}\\ &= \{ \mathbf{f} = f(\cdot) = \displaystyle\sum_{i=1}^m α_iK(x_i,⋅):m \in \mathbb{N}, α_i \in ℝ, \{x_1,x_2,\cdots,x_m \} ⊆ \mathcal{I} \} \end{aligned}
代表能够由特征点的任意子集的线性组合得到的所有函数点或点的集合.

对于 \mathbf{f,g} \in \mathcal{F} 为特征空间中任意两点:
\mathbf{f} = \displaystyle\sum_{i=1}^{m_a} α_iK(x_i, ⋅), \mathbf{g} = \displaystyle\sum_{j=1}^{m_b} β_iK(x_j, ⋅)
定义这两个点的内积为
⟨\mathbf{f,g}⟩ = \displaystyle\sum_{i=1}^{m_a}\sum_{j=1}^{m_b}α_iβ_jK(x_i,x_j)

易证 \mathcal{F} 是希尔伯特空间, \mathcal{F} 具有再生性质 (reproducing property), 即可以通过取 \mathbf{f}\phi(x) 的内积来计算一个函数 f(⋅) 在一个点 x\in \mathcal{I} 上的值:
⟨f(⋅),\phi(x)⟩ = \displaystyle\sum_{j=1}^{m_a} α_i K(x_i,x) = f(x)
由此, \mathcal{F} 也被称为再生希尔伯特空间.

再生核映射 \phi 将输入空间映射到一个可能是无限维的特征空间中, 然而, 给定一个数据集 D = \{x_i\}_{i=1}^n, 可以只计算 D 中的点核, 从而得到一个有限维的映射, 即定义经验核映射 \phi 如下:
\phi(x) = \mathbf{K}^{-\frac{1}{2}}[K(x_1,x); K(x_2,x); \cdots; K(x_n,x)] \in \mathbb{R}^n

故而
\phi(x_i)^T\phi(x_i) = \mathbf{K}_i^T\mathbf{K}^{-1}\mathbf{K}_j
其中 \mathbf{K}_i 代表核矩阵 \mathbf{K} 的第 i 列.


α = [α_1;α_2;\cdots;α_b] 为参数向量, 基函数向量为 \phi(x) = [\phi_1(x);\phi_2(x);\cdots;\phi_b(x)]

在统计学中, 通常把基于参数的线性模型称为参数模型, 把核模型称为非参数模型.
与参数相关的非线性模型, 称为非线性模型 (如层级模型).

  • 线性模型:

f_{α}(x) = \displaystyle\sum_{j=1}^b α_j \,\phi_j(x) = α^T\phi(x)

  • 层级模型:

f_{α}(x) = \displaystyle\sum_{j=1}^b α_j \,\phi(x;\beta_j) = α^T\phi(x;\beta)

其中, \phi(x;\beta_j) 是含有参数 \beta = [\beta_1;\beta_2; \cdots;\beta_b] 的基函数.

若基函数 \phi_i(x) = \phi(x,x_i) 内积运算, 则可将线性模型转换为核模型;把 \phi(x;\beta_j) 替换为核函数, 则是核模型; 把 \beta 当作超参数, 则是线性模型.


最小二乘学习法 (Least Squares)

模型假设: D ⊂ \mathbb{R}^d, 定义损失函数为
J_{LS}(\alpha) = \frac{1}{2} \displaystyle\sum_{i=1}^n (f_{\alpha}(x_i) - y_i)^2

学习目标:
\hat{\alpha}_{LS} = \underset{\alpha}{\arg\min} \; J_{LS}

如果使用线性模型的话, J_{LS} 可以转换为
J_{LS}(\alpha) = \frac{1}{2} ||\Phi\alpha - y||^2

这里 y=[y_1;y_2;\cdots;y_n], \Phi 被称为设计矩阵:
\Phi = \begin{pmatrix} \phi_1(x_1) & \cdots & \phi_b(x_1)\\ \vdots & \ddots & \vdots\\ \phi_1(x_n) & \cdots & \phi_b(x_n) \end{pmatrix}

∇_{\alpha} J_{LS} = \Phi^T\Phi\alpha - \Phi^T y = 0, 便得出最小二乘解
\Phi^T\Phi\alpha = \Phi^T y
亦即
\hat{α}_{LS} = \Phi^{\dagger}y

其中 \Phi^{\dagger} 表示 \Phi 的伪逆, 若 \Phi^T\Phi 可逆时, 有 \Phi^{\dagger} = (\Phi^T\Phi)^{-1} \Phi^T.

带有约束条件的最小二乘学习法

可微分的凸函数 f: \mathbb{R}^d → \mathbb{R}g: \mathbb{R}^d → \mathbb{R}^p 的约束条件的最小化问题

\begin{cases} \underset{t}{\min} &f(t)\\ \operatorname{s.t.}& g(t) \preceq 0 \end{cases}
的拉格朗日对偶问题, 可以使用拉格朗日乘子 λ = (λ_1,\cdots,λ_p)^T 和拉格朗日函数
L(t,λ) = f(t) + λ^Tg(t)
采用以下方式进行定义:
\begin{cases} \displaystyle\max_{λ} \inf_{t}& L(t,λ)\\ \operatorname{s.t.}& λ \succeq 0 \end{cases}
拉格朗日对偶问题的 t 的解, 与原问题的解是一致的.

下面探讨线性模型:
f_{\theta}(x) = θ^T\phi(x)
的带约束的最小二乘法.

部分空间约束

约束条件
P\theta = \theta

这里, P 满足 P^2=P, P^T=P\in ℝ^{b×b}, 表示 P 的值域 \mathcal{R}(P) 的正交投影矩阵. 约束条件 P\theta = \theta 使得参数 \theta 不会偏移值域 \mathcal{R}(P) 的范围外.

该问题的最小二乘解为
\hat{\theta} = (\Phi P)^{\dagger}y

l_2 约束

约束条件
||\theta||^2 \leq R
是以参数空间的圆点为圆心, 在一定半径范围的超球内进行求解的. 利用其拉格朗日对偶问题为
\begin{cases} \displaystyle\max_{λ} \min_{t}& J_{LS}(\theta) + \frac{λ}{2}(||\theta||^2 - R) \\ \operatorname{s.t.}& λ \succeq 0 \end{cases}
该问题的最小二乘解为
\hat{\theta} = (\Phi^T\Phi + λ I)^{-1}\Phi^Ty

矩阵 \Phi^T\Phi + λ I 提高了其正则性, 进而可以更稳定地进行逆矩阵的求解. 因此, l_2 约束的最小二乘法也称为 l_2 正则化的最小二乘法或称为岭回归.

将约束条件改为
\theta^TG\theta \leq R
称为一般 l_2 约束的最小二乘法. 当矩阵 G 为正定矩阵时, \theta^TG\theta \leq R 可以把数据限制在椭球内.
该问题的最小二乘解为
\hat{\theta} = (\Phi^T\Phi + λ G)^{-1}\Phi^Ty

稀疏学习

模型假设:

模型假设: D ⊂ \mathbb{R}^d, 定义损失函数为
J_{LS}(\theta) = \frac{1}{2} ||\Phi\theta - y||^2

学习目标:
\hat{\theta}_{LS} = \underset{\alpha}{\arg\min} \; J_{LS}
约束条件为
||\theta||_1 \leq R

对于 l_1 范数的处理, c_j > 0
|\theta_j| \leq \frac{\theta_j^2}{2c_j} + \frac{c_j}{2}
即使用可微分的二次函数来控制 l_1 范数
原问题可化为
\hat{\theta} = \underset{\theta}{\arg\min} \tilde{J}(\theta)
其中
\tilde{J}(\theta) = J_{LS}(\theta) + \frac{λ}{2} \theta^T \circledS^{\dagger} \theta + C

\circledS 是对角元为 \tilde{\theta_1}, \cdots, \tilde{\theta_b} 的对角矩阵, C = \sum_{j=1}^b \frac{\tilde{\theta_j}}{2} 是不依赖于 \theta 的常数.

对于有参数的线性模型 f_{\theta} = \theta^T\phi(x)
该问题的最小二乘解为
\hat{\theta} = (\Phi^T\Phi + λ \circledS^{-1})^{-1}\Phi^Ty

使用随机梯度下降法求解

对于有参数的线性模型 f_{\theta} = \theta^T\phi(x), 使用随机选择的样本 (x,y) 按下式对其参数进行更新:
\theta ← \theta - ε \phi(x)(f_{\theta}(x)-y)
为了得到随机梯度下降法的稀疏解, 建议在多次进行梯度下降的过程中, 对各个参数值 \theta_j 进行如下的值域处理
∀ j =1, \cdots, b,\;\;\theta ←\begin{cases} \max(0,\theta_j - λε) & (\theta_j > 0)\\ \max(0,\theta_j + λε) & (\theta_j \leq 0) \end{cases}

l_p 约束的最小二乘法

∀p \geq 0, 约束条件是
||\theta||_p = (\displaystyle\sum_{j=1}^b |\theta_j|^p)^{\frac{1}{p}} \leq R

  • p=∞, ||\theta||_{∞} = \max_j{|\theta_j|}
  • p=0, 有

||\theta||_0 = \displaystyle\sum_{j=1}^b δ(\theta_j \neq 0)

其中
δ(\theta_j \neq 0) = \begin{cases} 1 & (\theta_j \neq 0)\\ 0 &(\theta_j = 0) \end{cases}
也就是说, l_0 范数表示的是非零的向量的元素个数.

详细见弹性网回归学习法.

鲁棒学习

在统计学和机器学习领域, 对异常值也能保持稳定、可靠的性质, 称为鲁棒性.

当训练样本中混入了异常值时往往希望采用先除去这些异常值再进行学习的方法 (异常检验), 或者采用保留异常值, 但结果不易受异常值影响的方法 (鲁棒学习方法).

l_1 损失最小化学习

最小二乘学习中, 对训练样本的合理性, 一般使用 l_2 损失 J_{LS}(\theta) 来测定.
J_{LS}(\theta) = \frac{1}{2} \displaystyle\sum_{i=1}^n r_i^2
这里 r_i = f_{\theta}(x_i) - y_i 为残差. 但是 l_2 损失对异常值很敏感, 故而可以使用 l_1 损失对残差的增幅加以抑制
J_{LA} = \displaystyle\sum_{j=1}^n |r_j|
这里 LA 是 Least Absolute 的缩写.

Huber 损失最小化学习

Huber 损失
\rho_{\operatorname{Huber}}(r) = \begin{cases} \frac{r^2}{2} & (|r| \leq \eta)\\ \eta |r| - \frac{\eta^2}{2} & (|r| > \eta) \end{cases}

  • 如果残差的绝对值 |r| 小于阈值 \eta 的话 (即正常值), 上式就变成了 l_2 损失;
  • 如果残差的绝对值 |r| 大于阈值 \eta 的话 (即异常值), 上式就变成了 l_1 损失, 但是, 为了使与 l_2 平滑地连接, 在 l_1 损失中减去了常数 \frac{\eta^2}{2}

这样的学习方法就是 Huber 损失最小化学习.

\underset{\theta}{\min} J(\theta) = \displaystyle\sum_{i=1}^n \rho_{\operatorname{Huber}}(r_i)

图片发自简书App

图片发自简书App

图片发自简书App
图片发自简书App
图片发自简书App
图片发自简书App
图片发自简书App
图片发自简书App
图片发自简书App
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容

  • 注:题中所指的『机器学习』不包括『深度学习』。本篇文章以理论推导为主,不涉及代码实现。 前些日子定下了未来三年左右...
    我偏笑_NSNirvana阅读 39,683评论 12 145
  • 利用回归预测数值型数据 线性回归 前面讲的都是监督学习中的分类,训练出可以判断样本类别的模型,而回归的目的是预测数...
    我偏笑_NSNirvana阅读 9,402评论 4 50
  • 这是我个人整理和总结的基础概念和疑难点, 用Q&A的形式展示出来, 特别适合初学者和准备面试的童鞋~ 逻辑回归, ...
    KAMIWei阅读 990评论 0 10
  • 》拟合训练数据和寻找能够泛化到新数据的参数有哪些不同。 》如何使用额外的数据设置超参数。 》机器学习本质上属于应用...
    N89757阅读 2,029评论 0 0
  • 这是一个没有高潮,只有开头和结尾的故事。因为我妈是医院职工,所以我从小生活在医院后面的家属院里。他应该是姓王吧,我...
    eaf95b4b8942阅读 253评论 0 1