华中科大陈俊:详细解读深度学习之星GAN的原理 | 分享总结

姓名:李振华 学号:17101223418

【嵌牛导读】:生成式对抗网络(GAN)是近两年机器学习领域的新秀,被Yann LeCun称为"过去十年机器学习界最有趣的idea",目前已经得到广泛研究者的关注并且以高频论文数出现在各大顶会上。GAN目前已有一百多种变体,在图像、视频、文字、语音等很多实际场景中均得到应用,是一种潜力巨大的理论模型。
【嵌牛鼻子】:在近期雷锋网AI研习社举办的线上直播分享课上,来自华中科技大学的陈俊为大家详细解读了GAN的基本原理,并且分享了几篇GAN在图像风格转换领域应用的文章。
【嵌牛提问】:我们对机器学习了解多少?我们大部分人应该还处于“觉得很神奇”的状态,而在各大实验室,公司,机器学习已经研究得很深入,应用的很广泛,我们是不是应该跟着新的时代前进呢?
【嵌牛正文】:
转载:https://share.iclient.ifeng.com/news/shareNews?fromType=vampire&forward=1&aid=sub_40975210&token=xUzM1ADO1MDM0UDN0YDO&aman=1531508z530Z454Z468#backhead

生成式对抗网络(GAN)是近两年机器学习领域的新秀,被Yann LeCun称为"过去十年机器学习界最有趣的idea",目前已经得到广泛研究者的关注并且以高频论文数出现在各大顶会上。GAN目前已有一百多种变体,在图像、视频、文字、语音等很多实际场景中均得到应用,是一种潜力巨大的理论模型。本文主要对阐述了GAN的基本原理,以及GAN的优缺点分析和GAN网络研究发展现状。文章内容根据AI研习社线上公开课整理而成。

在近期雷锋网AI研习社举办的线上直播分享课上,来自华中科技大学的陈俊为大家详细解读了GAN的基本原理,并且分享了几篇GAN在图像风格转换领域应用的文章。

陈俊,华中科技大学自动化学院硕士研究生,模式识别专业,研究兴趣包括:计算机视觉(视频理解、行为识别、目标检测与分类等)、深度学习、机器学习等。

分享主题:深度学习之星-GAN的原理

0.jpeg

分享内容分为以下五部分:

GAN究竟在做什么?

GAN如何做的?

GAN是如何训练的?

GAN的小实验

GAN性质小结

大家好!首先为大家介绍一些GAN变体的最新应用,比如GAN可以被用来学生生成各种各样的字体,可模范名人字体进行个性签名;还可以对图片进行修正,比如把春天的山变成白雪覆盖的山,还有马变斑马,视频自动生成,高分辨率图片生成等等。

1.jpeg

GAN究竟在做什么?

在低维数据中,GAN是用来学习数据服从什么样的分布。在高维数据中,GAN可以学习复杂的数据模型,可以代表数据分布的样子。一句话总结:它是在学习样本集的数据分布。

2.jpeg

学习数据分布有什么用?

学习数据分布可以学习到高纬抽象的分布函数,模拟预测未来数据是什么样子。可以处理缺省数据问题:如半监督学习;可以生成真实样本,还有可以建立模型,通过学到的模型分析数据的特征,比如数据均值,方差,再就是还原数据。

7.jpeg

怎么生成真实样本?

3.jpeg

生成模型的一些常见方法:

4.jpeg

基于上面的方法有两种形式分为显示估计和隐式估计。生成模型常见方法的比较:

显示:或多或少的需要知道或者假设模型的分布;大多通过Markov chains方法;

隐式:使用隐藏编码,无需假设模型,无需Markov chains,以最终生成图像的相似性作为目标;

5.jpeg

GAN如何做的?

它的基本思想:启发自博弈论中的二人零和博弈。博弈双方分别是一个生成模型和一个判别模型,这里的模型可理解为分类器或网络结构。

分类模型,一般来说是一个二分类模型,用来判断样本是真是假;(分类器输入为样本,输出概率大于0.5为真,否则为假)

生成模型:是一个样本生成器,把一个噪声包装成另一个逼真的样本,使得判别器误认为是真样本。(输入为噪声,输出为样本维持相同的噪声(假样本))

用一张图来解释:

6.jpeg

有一个真实样本集和一个制造的假样本集,目的是使得判别器无法判断,无论对于真假样本,输出结果概率都是0.5。

8.jpeg

GAN是如何训练的?

我们有且仅有真实训练样本集,无标注。假样本集:随机制造而来,没有标注。

讨论它是无监督训练还是有监督训练要看是从哪个角度来看。

如果从输入的样本集来看,它是无监督的。因为没有标记。但是无监督没有办法训练,必须造出一种判别机制,一种监督信号,从这种角度来看,它是有监督的,因为它有监督信号 。把样本的真和假当做监督信号,这个监督信号需要我们自己来造。

从生成假样本的角度来讲,我们希望生成器越来越好,生成的假样本越逼真越好。

9.jpeg

训练前提是,有两个网络,分别单独交替训练。需要注意的是,在生成器里面生成的是假样本数据集,但是在训练的时候需要把它当成真样本数据集来训练。这样才能迷惑判别器。

训练过程精髓之处:假样本在训练过程中的真假变换,这也是博弈得以进行的关键之处。

10.jpeg

用数学公式是如何表示出来的?

12.jpeg
14.jpeg
15.jpeg

GAN小实验

16.jpeg

具体实验过程观看文末视频

GAN性质小结:

GAN可以自动学习原始真实样本集的数据分布,无需假设额外的分布模型;

自动学习潜在的损失函数,判别网络潜在学习到的损失函数隐藏在网络之中;

提供无监督的学习方法,无监督学习是机器学习领域的终极目标;

存在的问题:

不收敛的问题:网络不稳定,难以训练;

网络需要调才能得到较好的结果,比如交替迭代次数,对结果的影响就很大。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,706评论 4 366
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,002评论 1 301
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,462评论 0 250
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,375评论 0 216
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,763评论 3 294
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,849评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,033评论 2 317
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,768评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,490评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,734评论 2 253
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,204评论 1 264
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,566评论 3 260
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,227评论 3 241
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,137评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,934评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,926评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,774评论 2 274

推荐阅读更多精彩内容