GAN(生成对抗网络)学习笔记

96
best___me
2017.10.28 19:46* 字数 2106

转载连接:https://www.leiphone.com/news/201706/ty7H504cn7l6EVLd.html

GAN的思想是一种二人零和博弈思想(two-player game),博弈双方的利益之和是一个常数,比如两个人掰手腕,假设总的空间是一定的,你的力气大一点,那你得到的空间就多一点,相应的我的空间就少一点,反之亦然。但有一点确定的就是,两个人的总空间是一定的,这就是二人博弈,但是总利益是一定的。

GAN中有两个这样的博弈者,一个人名字是生成模型(G),另一个人名字是判别模型(D),它们各自有各自的功能。

相同点是:这两个模型都可以看成是一个黑匣子,接受输入然后有一个输出,类似一个函数,一个输入输出映射。

不同点是:  

1. 生成模型功能:比作是一个样本生成器,输入一个噪声/样本,然后把它包装成一个逼真的样子,也就是输出。

2. 判别模型:比作一个二分类器(如同0-1分类器),来判断输入的样本是真是假。(就是输出值大于0.5还是小于0.5)


gan

判别模型,就是图中右边的网络,直观来看就是简单的神经网络结构,输入是一副图像,输出是一个概率值,用于判断真假使用(概率值大于0.5就是真,小于0.5就是假)

其次是生成模型:同样是一个神经网络模型,输入是一组随机数Z,输出是一个图像,不再是一个数值而已。从图中可以看到,会存在两个数据集,一个是真实数据集,另一个是假的数据集,那这个数据集就是由生成网络造出来的数据集。  GAN的目标是要干什么:

1. 判别网络的目的:就是能判别出来属于的一张图它是来自真实样本集还是假样本集。例如输入的是真样本,网络输出就接近1,输出的是假样本,网络输出接近0。

2. 生成网络的目的:生成网络是造样本,它的目的就是使得自己造样本的能力尽可能强,强到什么程度呢,判别网络没法判断我是真样本还是假样本。

有了这个理解再来看看为什么叫做对抗网络:

判别网络说,我很强,来一个样本我就知道它是来自真样本集还是假样本集。生成网络就不服来,说我也很强,我生成一个假样本,虽然我生成网络知道是假的,但是你判别网络不知道呀,我包装的非常逼真,以致于判别网络无法判断真假,那么用输出数值来解释就是,生成网络生成的假样本进去了判别网络之后,判别网络给出的结果是一个接近0.5的值,极限情况就是0.5,也就是说判别不出来来,这就是纳什平衡来。

数据集:真实采集的人脸样本数据集,没有类标签

目的: 最远书的GAN的目的,通过输入一个噪声,模拟得到一个人脸图像,这个图像可以非常逼真以致于以假乱真。


训练方法


训练两个模型的方法:单独交替迭代训练

判别模型: 希望真样本集尽可能输出1,假样本集输出0。对于判别网络,此时问题转换成一个有监督的二分类问题,直接送到神经网络模型中训练就ok。

生成网络:目的是生成尽可能逼真的样本。原始生成网络如何知道真不真?就是送到判别网络中。在训练生成网络的时候,需要联合判别网络才能达到训练的目的。什么意思?如果单单只用生成网络,那么后面怎么训练,误差来源在哪里?细想一下没有,但是如果把刚才的判别网络串接在生成网络的后面,这样就知道真假来,也就有了误差。!!!所以对生成网络的训练其实是对生成-判别网络串接的训练,就像图中显示的那样。  生成来假样本,要把这些假样本的标签都设置为 1,也就是认为这些假样本在生成网络训练的时候是真样本。起到了迷惑判别器的目的。!!!在训练这个串接网络的时候,一个很重要的操作就是不要判别网络的参数发生变化,也就是不让它参数发生更新,只是把误差一直传,传到生成网络那块后更新生成网络的参数。这样就完成来生成网络的训练。

假样本在训练过程中的真假变换


公式:


目标公式

先优化D,然后再优化G,拆解之后就如下:

优化D:


优化D

优化D,即优化判别网络时,没有生成网络什么事,后面的G(z)这里就相当于已经得到的假样本。优化D的公式的第一项,使得真样本x输入的时候,得到的结果越大越好,因为真样本的预测结果越接近1越好;对于假样本,需要优化的是其结果越小越好,也就是D(G(z))越小越好,因为它的标签为0。但是第一项越大,第二项越小,就矛盾了,所以把第二项改为1-D(G(z)),这样就是越大越好。

优化G:


优化G

在优化G的时候,这个时候没有真样本什么事,所以把第一项直接去掉,这时候只有假样本,但是我们说这个时候是希望假样本的标签是1,所以是D(G(z))越大越好,但是为了统一成1-D(G(z))的形式,那么只能是最小化1-D(G(z)),本质上没有区别,只是为了形式的统一。之后这两个优化模型可以合并起来写,就变成最开始的最大最小目标函数了。


GAN强大之处在于可以自动的学习原始真实样本集的数据分布

传统机器学习方法,会定义一个什么模型让数据去学习,假设我们知道原始数据属于高斯分布,只是不知道高斯分布的参数,这个时候我们会定义高斯分布,然后利用数据去学习高斯分布的参数得到最终的模型。  然而从随机噪声到人脸应该服从什么分布,我们不知道,然而GAN机制可以学习到,也就是说GAN学习到了真实样本集的数据分布。

GAN强大之处在于可以自动的定义潜在损失函数

判别网络可以自动学习到一个好的判别方法,其实就是等效的理解为可以学习到好的损失函数,来比较好或者不好的判别出来结果。虽然大的loss函数还是人为定义的,基本上对于多数GAN也都这么定义就可以来,但是判别网络潜在学习到的损失函数隐藏在网络之中,不同的问题这个函数就不一样,所以说可以自动学习这个潜在的损失函数。

深度学习
Web note ad 1