人工智能实战中那些绕不过去的基础模型

基础知识

 数据库

数据库是机器学习一个必要的组成部分。如果你想构建一个机器学习系统,你要么可以从公众资源中得到数据,要么需要自己收集数据。所有的用于构建和测试机器学习模型的数据集合成为数据库。基本上,数据科学家会将数据划分为三个部分:

训练数据:训练数据是用于训练模型。这意味着机器学习模型需要认识并通过学习得到数据的模式以及确定预测过程中最重要的数据特征。

验证数据:验证数据是用于微调模型参数和比较不同模型来确定最优的模型。验证数据应该不同于训练数据,且不能用于训练阶段。否则,模型将出现过拟合现象,且对新的数据泛化不佳。

测试数据:这看起来似乎有些单调,但这通常是第三个也是最后的测试集(经常也被称为对抗数据)。一旦最终的模型确定,它就用于测试模型在从未见过的数据集上的表现,如这些数据从未在构建模型或确定模型时使用过。

图像:混合使用t-SNE和Jonker-Volgenant算法得到的MNIST数据库的可视化结果。T-SNE是一种广泛使用的降维算法,通过压缩数据的表达来得到更好的可视化和进一步处理。

 监督学习

监督学习是用实例来教模型学习的一类机器学习模型集合。这意味着用于监督学习任务的数据需要被标注(指定正确的,真实类别)。例如,如果我们想要构建一个机器学习模型用于识别一个给定的文本是否被标记过的,我们需要给模型提供一个标记过的样本集 (文本+信息,是否该文本被标记过)。给定一个新的,未见过的例子,模型能够预测它的目标,例如,规定样本的标签,1表示标记过的而0表示未标记的。

 无监督学习

相比于监督学习,无监督学习模型是通过观察来进行自我学习。算法所用的数据是未标记过的(即提供给算法的是没有真实标签值的数据)。无监督学习模型能够发现不同输入之间的相关关系。最重要的无监督学习技术是聚类方法。对于给定的数据,模型能够得到输入的不同聚类(对于相似的数据聚合在同一类中),并能将新的、未见过的输入归入到相似的聚类中。

 强化学习

强化学习区别于先前我们提到的那些方法。强化学习算法一种“游戏”的过程,其目标是最大化 “游戏奖励”。该算法通过反复的实验来尝试确定不同的 “走法”,并查看哪种方式能够最大化 “游戏收益”

最广为人知的强化学习例子就是教计算机来解决魔方问题或下象棋,但是强化学习能解决的问题不仅只有游戏。最近,强化学习大量地应用于实时竞价,其模型负责为一个广告竞拍价格而它的报酬是用户的转换率。

想要学习人工智能在实时竞价和程序化广告中的应用吗?详见:https://sigmoidal.io/ai-for-advertising/

 神经网络

神经网络是一个非常广泛的机器学习模型集合。它的主要思想是模拟人类大脑的行为来处理数据。就像大脑中真实神经元之间相互连接形成的网络一样,人工神经网络由多层组成。每层都是一系列神经元的集合,这些神经元负责检测不同的食物。一个神经网络能够连续地处理数据,这意味着只有第一层才与输入直接相连,随着模型层数的增加,模型将学到越来越复杂的数据结构。当层数大量地增加,模型通常就是一个所谓的深度学习模型。很难给一个深度网络确定一个特定的网络层数,10年前通常3层神经网络就可谓深,而如今通常需要20层。

need-to-insert-img

神经网络有许许多多不同的变体,常用的是:

卷积神经网络—它给计算机视觉任务带来了巨大的突破(而如今,它同样对于解决自然语言处理问题有很大帮助)。

need-to-insert-img

循环神经网络—被设计为处理具有序列特征的数据,如文本或股票票价。这是个相对古老的神经网络,但随着过去20年现代计算机计算能力的突飞猛进,使得它的训练变得容易并在很多时候得以应用。

全连接神经网络—这是处理静态/表格式数据最简单的模型。

 过拟合

当模型从不充分的数据中学习会产生偏差,这对模型会有负面的影响。这是个很常见,也很重要的问题。

当你在不同的时间进入一个面包坊,而每一次所剩下的蛋糕都没有你喜欢的,那么你可能会对这个面包坊失望,即使有很多其他的顾客可能会对剩下的蛋糕满意。如果你是个机器学习模型,可以说你对这一小数量样本产生了过拟合现象—要构建一个具有偏置量的模型,其得到的表示才不会过度拟合真实数据。

当过拟合现象发生,它通常意味着模型将随机噪声当作数据,并作为一个重要的信号去拟合它,这就是为什么模型在新数据上的表现会出现退化(噪声也有差异)。这在一些非常复杂的模型如神经网络或加速梯度模型上是很常见的。

想象构建一个模型来检测文章中出现的有关奥运的特定体育项目。由于所用的训练集与文章是由偏差的,模型可能学习到诸如 “奥运”这样词的特征,而无法检测到那些未包含该词的文章。

常见技巧

1.如何发现输入数据中的缺陷

在想知道我们的数据是否能够胜任训练一个好模型的任务,可以考虑两个方面:

数据能预测我们想要预测的结果吗?

有足够的数据吗?

为了弄清楚我们的模型是否包含预测信息,我们可以扪心自问:给定这些数据,人类能做出预测吗?

如果一个人不能理解一幅图像或一段文字,那么我们的模型也不会预测出有意义的结果。如果没有足够的预测信息,给我们的模型增加更多的输入并不会使它变得更好;相反,模型会过拟合,变得不太准确。

一旦我们的数据有足够的预测信息,我们就需要弄清楚我们是否有足够的数据来训练一个模型来提取信号。有几个经验法则可以遵循:

对于分类,我们每类至少应有 30 个独立样本。

对于任何特征,特别是结构化数据问题,我们至少应该有 10 个样本。

数据集的大小与模型中参数的数量成正比。这些规则可能需要根据你的特定应用程序进行调整。如果你能利用迁移学习,那么你可以大大减少所需样本的数量。

2.如何使模型从较少的数据中学习更多

在许多情况下,我们只是没有足够的数据。在这种情况下,最好的选择之一是扩充数据。再进一步,我们可以用自动编码器和生成对抗网络等生成模型生成自己的数据。

同样,我们可以找到外部公共数据,这些数据可以在互联网上找到。即使数据最初不是为我们的目的而收集的,我们也可以潜在地重新标记它或将其用于迁移学习。我们可以在一个大数据集上为不同的任务训练一个模型,然后使用该模型作为任务的基础。同样,我们可以找到一个别人为不同任务训练过的模型,并将其重新用于我们的任务。

need-to-insert-img

重要的是,要记住,在大多数情况下,数据的质量胜过数据的数量。拥有一个小的、高质量的数据集并训练一个简单的模型是在训练过程早期发现数据中问题的最佳实践。许多数据科学家犯的一个错误是,他们花时间和金钱获取一个大数据集,但后来发现他们的项目有错误的数据类型。

3.如何准备训练数据并避免常见的陷阱

有三种常用方法可以预处理训练过程的数据特征:

标准化确保所有数据的平均值为 0,标准偏差为 1。这是减少特征的最常见方式。如果你怀疑数据中包含异常值,那么它甚至更有用。

最小—最大重缩放通过减去最小值,然后除以值的范围,将所有数据的值缩放到 0 和 1 之间。

平均值规范化确保数据的值介于(-1)和 1 之间,平均值为 0。我们减去平均值,除以数据的范围。

need-to-insert-img

然而,我们在准备特征时,只测量测试集上的度量因子、平均值和标准差是很重要的。如果我们在整个数据集上测量这些因素,由于信息暴露,算法在测试集上的性能可能会比在实际生产中更好。

4.如何找到最优模型超参数

手动调整神经网络模型的超参数可能非常繁琐。这是因为当涉及到超参数调整时,没有科学的规则可供使用。这就是为什么许多数据科学家已经转向自动超参数搜索,使用某种基于非梯度的优化算法。

为了了解如何在权重和偏差的情况下找到模型的最优超参数,让我们看看 mask r-cnn 计算机视觉模型的这个例子。为了实现语义分割任务的 mask r-cnn,connor 和 trent 调整了控制模型运行方式的不同超参数:学习速率、梯度剪辑归一化、权重衰减、比例、各种损失函数的权重……他们想知道图像的语义分割是如何进行的。由于模型使用不同的超参数进行训练,因此他们集成了一个 imagecallback()类来同步到 wandb。此外,他们还写了一个脚本,用于运行参数扫描,这些扫描可以适应不同的超参数或同一超参数的不同值。

need-to-insert-img

need-to-insert-img

他们的结果可以在 Wandb Run 页面上找到。高梯度裁剪集和高学习速率可以提高模型精度,在迭代次数增加的情况下,验证损失分数会迅速下降。

5.如何安排学习率以减少过度适应

其中最重要的超参数之一是学习速率,这是很难优化的。学习速率小导致训练速度慢,学习速率大导致模型过度拟合。

在寻找学习速率方面,标准的超参数搜索技术不是最佳选择。对于学习速率,最好执行一个行搜索并可视化不同学习速率的损失,因为这将使你了解损失函数的行为方式。在进行直线搜索时,最好以指数方式提高学习率。你更可能关心学习速率较小的区域。

need-to-insert-img

一开始,我们的模型可能离最优解很远,因此,我们希望尽可能快地移动。然而,当我们接近最小损失时,我们希望移动得更慢以避免超调。因此,我们应该定义一个学习速率表,以便在训练期间根据指定的规则更新速率。

6.如何用权重和偏差监控训练进度

调试模型的一个重要部分是,在投入大量时间训练模型之前,先搞清楚什么时候会出问题。wandb 提供了一种无缝的方式来可视化和跟踪机器学习实验。你可以搜索/比较/可视化训练运行,分析运行时的系统使用指标,复制历史结果,等等。

安装完 wandb 之后,我们要做的就是在我们的训练脚本中包含这段代码:

import wandb

# Your custom arguments defined here

args = …

wandb.init(config=args, project=”my-project”)

wandb.config[“more”] = “custom”

def training_loop():

while True:

# Do some machine learning

epoch, loss, val_loss = …

# Framework agnostic / custom metrics

wandb.log({“epoch”: epoch, “loss”: loss, “val_loss”: val_loss})

或者,我们可以将 tensorboard 集成在一行中:

wandb.init(sync_tensorboard=True)

need-to-insert-img

TensorBoard 是 TensorFlow 扩展,它允许我们在浏览器中轻松监视模型。为了提供一个接口,我们可以从中观察模型的进程,tensorboard 还提供了一些对调试有用的选项。例如,我们可以在训练过程中观察模型的权重和梯度的分布。如果我们真的想深入研究这个模型,tensorboard 提供了一个可视化的调试器。在这个调试器中,我们可以逐步执行 tensorflow 模型并检查其中的每个值。如果我们正在研究复杂的模型,比如变分自动编码器,并且试图理解复杂事物为什么会崩溃,这一点尤其有用。

常见基础模型

线性模型

线性模型是最简单的,也是最基本的机器学习模型。其数学形式如下:g(X;W)=WTX。有时,我们还会在WTX的基础上额外加入一个偏置项b,不过只要把X扩展出一维常数分量,就可以把带偏置项的线性函数归并到WTX的形式之中。线性模型非常简单明了,参数的每一维对应了相应特征维度的重要性。但是很显然,线性模型也存在一定的局限性。

首先,线性模型的取值范围是不受限的,依据w和x的具体取值,它的输出可以是非常大的正数或者非常小的负数。然而,在进行分类的时候,我们预期得到的模型输出是某个样本属于正类(如正面评价)的可能性,这个可能性通常是取值在0和1之间的一个概率值。为了解决这二者之间的差距,人们通常会使用一个对数几率函数对线性模型的输出进行变换,得到如下公式:

need-to-insert-img

经过变换,严格地讲,g(x;w)已经不再是一个线性函数,而是由一个线性函数派生出来的非线性函数,我们通常称这类函数为广义线性函数。对数几率模型本身是一个概率形式,非常适合用对数似然损失或者交叉熵损失进行训练。

其次,线性模型只能挖掘特征之间的线性组合关系,无法对更加复杂、更加强大的非线性组合关系进行建模。为了解决这个问题,我们可以对输入的各维特征进行一些显式的非线性预变换(如单维特征的指数、对数、多项式变换,以及多维特征的交叉乘积等),或者采用核方法把原特征空间隐式地映射到一个高维的非线性空间,再在高维空间里构建线性模型。

核方法与支持向量机

n/a

决策树与Boosting

n/a

神经网络

神经网络是一类典型的非线性模型,它的设计受到生物神经网络的启发。人们通过对大脑生物机理的研究,发现其基本单元是神经元,每个神经元通过树突从上游的神经元那里获取输入信号,经过自身的加工处理后,再通过轴突将输出信号传递给下游的神经元。当神经元的输入信号总和达到一定强度时,就会激活一个输出信号,否则就没有输出信号(如图2.7a所示)。

图2.7 神经元结构与人工神经网络

这种生物学原理如果用数学语言进行表达,就如图2.7b所示。神经元对输入的信号

进行线性加权求和,然后依据求和结果的大小来驱动一个激活函数ψ,用以生成输出信号。生物系统中的激活函数类似于阶跃函数:

但是,由于阶跃函数本身不连续,对于机器学习而言不是一个好的选择,因此在人们设计人工神经网络的时候通常采用连续的激活函数,比如Sigmoid函数、双曲正切函数(tanh)、校正线性单元(ReLU)等。它们的数学形式和函数形状分别如图2.8所示。

图2.8 常用的激活函数

1.全连接神经网络

最基本的神经网络就是把前面描述的神经元互相连接起来,形成层次结构(如图2.9所示),我们称之为全连接神经网络。对于图2.9中这个网络而言,最左边对应的是输入节点,最右边对应的是输出节点,中间的三层节点都是隐含节点(我们把相应的层称为隐含层)。每一个隐含节点都会把来自上一层节点的输出进行加权求和,再经过一个非线性的激活函数,输出给下一层。而输出层则一般采用简单的线性函数,或者进一步使用softmax函数将输出变成概率形式。

need-to-insert-img

图2.9 全连接神经网络

全连接神经网络虽然看起来简单,但它有着非常强大的表达能力。早在20世纪80年代,人们就证明了著名的通用逼近定理(Universal Approximation Theorem[28])。最早的通用逼近定理是针对Sigmoid激活函数证明的,一般情况下的通用逼近定理在2001年被证明[29]。其数学描述是,在激活函数满足一定条件的前提下,任意给定输入空间中的一个连续函数和近似精度ε,存在自然数Nε和一个隐含节点数为Nε的单隐层全连接神经网络,对这个连续函数的

L∞-逼近精度小于ε。这个定理非常重要,它告诉我们全连接神经网络可以用来解决非常复杂的问题,当其他的模型(如线性模型、支持向量机等)无法逼近这类问题的分类界面时,神经网络仍然可以所向披靡、得心应手。近年来,人们指出深层网络的表达力更强,即表达某些逻辑函数,深层网络需要的隐含节点数比浅层网络少很多[30]。这对于模型存储和优化而言都是比较有利的,因此人们越来越关注和使用更深层的神经网络。

全连接神经网络在训练过程中常常选取交叉熵损失函数,并且使用梯度下降法来求解模型参数(实际中为了减少每次模型更新的代价,使用的是小批量的随机梯度下降法)。要注意的是,虽然交叉熵损失是个凸函数,但由于多层神经网络本身的非线性和非凸本质,损失函数对于模型参数而言其实是严重非凸的。在这种情况下,使用梯度下降法求解通常只能找到局部最优解。为了解决这个问题,人们在实践中常常采用多次随机初始化或者模拟退火等技术来寻找全局意义下更优的解。近年有研究表明,在满足一定条件时,如果神经网络足够深,它的所有局部最优解其实都和全局最优解具有非常类似的损失函数值[31]。换言之,对于深层神经网络而言,“只能找到局部最优解”未见得是一个致命的缺陷,在很多时候这个局部最优解已经足够好,可以达到非常不错的实际预测精度。

除了局部最优解和全局最优解的忧虑之外,其实关于使用深层神经网络还有另外两个困难。

首先,因为深层神经网络的表达能力太强,很容易过拟合到训练数据上,导致其在测试数据上表现欠佳。为了解决这个问题,人们提出了很多方法,包括DropOut[32]、数据扩张(Data Augmentation)[33]、批量归一化(Batch Normalization)[34]、权值衰减(Weight Decay)[35]、提前终止(Early Stopping)[36]等,通过在训练过程中引入随机性、伪训练样本或限定模型空间来提高模型的泛化能力。

其次,当网络很深时,输出层的预测误差很难顺利地逐层传递下去,从而使得靠近输入层的那些隐含层无法得到充分的训练。这个问题又称为“梯度消减”问题[37]。研究表明,梯度消减主要是由神经网络的非线性激活函数带来的,因为非线性激活函数导数的模都不太大,在使用梯度下降法进行优化的时候,非线性激活函数导数的逐层连乘会出现在梯度的计算公式中,从而使梯度的幅度逐层减小。为了解决这个问题,人们在跨层之间引入了线性直连,或者由门电路控制的线性通路[38],以期为梯度信息的顺利回传提供便利。

2.卷积神经网络

除了全连接神经网络以外,卷积神经网络(Convolutional Neural Network,CNN)[13]也是十分常用的网络结构,尤其适用于处理图像数据。

卷积神经网络的设计是受生物视觉系统的启发。研究表明每个视觉细胞只对于局部的小区域敏感,而大量视觉细胞平铺在视野中,可以很好地利用自然图像的空间局部相关性。与此类似,卷积神经网络也引入局部连接的概念,并且在空间上平铺具有同样参数结构的滤波器(也称为卷积核)。这些滤波器之间有很大的重叠区域,相当于有个空域滑窗,在滑窗滑到不同空间位置时,对这个窗内的信息使用同样的滤波器进行分析。这样虽然网络很大,但是由于不同位置的滤波器共享参数,其实模型参数的个数并不多,参数效率很高。

图2.10描述了一个2×2的卷积核将输入图像进行卷积的例子。所谓卷积就是卷积核的各个参数和图像中空间位置对应的像素值进行点乘再求和。经过了卷积操作之后,会得到一个和原图像类似大小的新图层,其中的每个点都是卷积核在某空间局部区域的作用结果(可能对应于提取图像的边缘或抽取更加高级的语义信息)。我们通常称这个新图层为特征映射(feature map)。对于一幅图像,可以在一个卷积层里使用多个不同的卷积核,从而形成多维的特征映射;还可以把多个卷积层级联起来,不断抽取越来越复杂的语义信息。

图2.10 卷积过程示意图

除了卷积以外,池化也是卷积神经网络的重要组成部分。池化的目的是对原特征映射进行压缩,从而更好地体现图像识别的平移不变性,并且有效扩大后续卷积操作的感受野。池化与卷积不同,一般不是参数化的模块,而是用确定性的方法求出局部区域内的平均值、中位数,或最大值、最小值(近年来,也有一些学者开始研究参数化的池化算子[39])。图2.11描述了对图像局部进行2×2的最大值池化操作后的效果。

图2.11 池化操作示意图

在实际操作中,可以把多个卷积层和多个池化层交替级联,从而实现从原始图像中不断抽取高层语义特征的目的。在此之后,还可以再级联一个全连接网络,在这些高层语义特征的基础上进行模式识别或预测。这个过程如图2.12所示。

图2.12 多层卷积神经网络(N1,N2,N3表示对应单元重复的次数)

实践中,人们开始尝试使用越来越深的卷积神经网络,以达到越来越好的图像分类效果。图2.13描述了近年来人们在ImageNet数据集上不断通过增加网络深度刷新错误率的历程。其中2015年来自微软研究院的深达152层的ResNet网络[40],在ImageNet数据集上取得了低达3.57%的Top-5错误率,在特定任务上超越了普通人类的图像识别能力。

图2.13 卷积神经网络不断刷新ImageNet数据集的识别结果

图2.14残差学习

随着卷积神经网络变得越来越深,前面提到的梯度消减问题也随之变得越来越显著,给模型的训练带来了很大难度。为了解决这个问题,近年来人们提出了一系列的方法,包括残差学习[40-41](如图2.14所示)、高密度网络[42](如图2.15所示)等。实验表明:这些方法可以有效地把训练误差传递到靠近输入层的地方,为深层卷积神经网络的训练奠定了坚实的实践基础。

图2.15 高密度网络

3.循环神经网络

循环神经网络(Recurrent Neural Network,RNN)[14]的设计也有很强的仿生学基础。我们可以联想一下自己如何读书看报。当我们阅读一个句子时,不会单纯地理解当前看到的那个字本身,相反我们之前读到的文字会在脑海里形成记忆,而这些记忆会帮助我们更好地理解当前看到的文字。这个过程是递归的,我们在看下一个文字时,当前文字和历史记忆又会共同成为我们新的记忆,并对我们理解下一个文字提供帮助。其实,循环神经网络的设计基本就是依照这个思想。我们用

表示在

时刻的记忆,它是由t时刻看到的输入

时刻的记忆st-1共同作用产生的。这个过程可以用下式加以表示:

很显然,这个式子里蕴含着对于记忆单元的循环迭代。在实际应用中,无限长时间的循环迭代并没有太大意义。比如,当我们阅读文字的时候,每个句子的平均长度可能只有十几个字。因此,我们完全可以把循环神经网络在时域上展开,然后在展开的网络上利用梯度下降法来求得参数矩阵U、W、V,如图2.16所示。用循环神经网络的术语,我们称之为时域反向传播(Back Propagation Through Time,BPTT)。

图2.16 循环神经网络的展开

和全连接神经网络、卷积神经网络类似,当循环神经网络时域展开以后,也会遇到梯度消减的问题。为了解决这个问题,人们提出了一套依靠门电路来控制信息流通的方法。也就是说,在循环神经网络的两层之间同时存在线性和非线性通路,而哪个通路开、哪个通路关或者多大程度上开关则由一组门电路来控制。这个门电路也是带参数并且这些参数在神经网络的优化过程中是可学习的。比较著名的两类方法是LSTM[43]和GRU[44](如图2.17所示)。GRU相比LSTM更加简单一些,LSTM有三个门电路(输入门、忘记门、输出门),而GRU则有两个门电路(重置门、更新门),二者在实际中的效果类似,但GRU的训练速度要快一些,因此近年来有变得更加流行的趋势。

图2.17 循环神经网络中的门电路

循环神经网络可以对时间序列进行有效建模,根据它所处理的序列的不同情况,可以把循环神经网络的应用场景分为点到序列、序列到点和序列到序列等类型(如图2.18所示)。

图2.18 循环神经网络的不同应用

下面分别介绍几种循环神经网络的应用场景。

(1)图像配文字:点到序列的循环神经网络应用

在这个应用中,输入的是图像的编码信息(可以通过卷积神经网络的中间层获得,也可以直接采用卷积神经网络预测得到的类别标签),输出则是靠循环神经网络来驱动产生的一句自然语言文本,用以描述该图像包含的内容。

(2)情感分类:序列到点的循环神经网络应用

在这个应用中,输入的是一段文本信息(时序序列),而输出的是情感分类的标签(正向情感或反向情感)。循环神经网络用于分析输入的文本,其隐含节点包含了整个输入语句的编码信息,再通过一个全连接的分类器把该编码信息映射到合适的情感类别之中。

(3)机器翻译:序列到序列的循环神经网络应用

在这个应用中,输入的是一个语言的文本(时序序列),而输出的则是另一个语言的文本(时序序列)。循环神经网络在这个应用中被使用了两次:第一次是用来对输入的源语言文本进行分析和编码;而第二次则是利用这个编码信息驱动输出目标语言的一段文本。

在使用序列到序列的循环神经网络实现机器翻译时,在实践中会遇到一个问题。输出端翻译结果中的某个词其实对于输入端各个词汇的依赖程度是不同的,通过把整个输入句子编码到一个向量来驱动输出的句子,会导致信息粒度太粗糙,或者长线的依赖关系被忽视。为了解决这个问题,人们在标准的序列到序列循环神经网络的基础上引入了所谓“注意力机制”。在它的帮助下,输出端的每个词的产生会利用到输入端不同词汇的编码信息。而这种注意力机制也是带参数的,可以在整个循环神经网络的训练过程中自动习得。

神经网络尤其是深层神经网络是一个高速发展的研究领域。随着整个学术界和工业界的持续关注,这个领域比其他的机器学习领域获得了更多的发展机会,不断有新的网络结构或优化方法被提出。如果读者对于这个领域感兴趣,请关注每年发表在机器学习主流学术会议上的最新论文。

推荐阅读更多精彩内容