值得精读的GAN论文推荐

前言

本文主要推荐一些生成对抗网络(GAN,generative adversarial networks)相关的值得精读的论文,主要涉及GAN的优化,图像翻译,视频预测三个领域,可以作为GAN的学习顺序进行阅读。

GAN的优化

想要使用GAN完成期望的学习任务,精致的网络设计和合适的目标函数必不可少,二者是实现较高performance的关键因素。
在损失函数的优化论文方面,效果比较突出且使用较多的主要有三篇论文,分别是:lsgan, wgan-gp, 谱归一化GAN:

  1. Improved training of Wasserstein GANs :https://arxiv.org/abs/1704.00028
  2. Least squares generative adversarial networks. : https://arxiv.org/abs/1611.04076
  3. Spectral normalization for generative adversarial networks:https://arxiv.org/abs/1802.05957
    这三篇论文提出的loss或正则方法都对GAN的优化有不小的作用,笔者也都做过相关实验,效果突出。

除了损失函数,网络结构的设计也是完成GAN训练任务里重要的一部分,此方面可以参考的文章主要有以下几篇:

  1. Deep generative image models using a Laplacian pyramid of adversarial networks: https://arxiv.org/abs/1506.05751
    特征金字塔GAN,(如下图)不同scale的图像可以提供不同精细程度的信息。
    image.png-120.5kB
    image.png-120.5kB
image.png-228.7kB
image.png-228.7kB
  1. Unsupervised representation learning with deep convolutional generative adversarial networks: https://arxiv.org/abs/1511.06434
    这篇是DCGAN,文章主要就是推行卷积结构的GAN网络,包括采样层的设计,激活函数的选择等等。

3.Stacked generative adversarial networks :https://arxiv.org/abs/1612.04357
4.StackGAN: Text to photo-realistic image synthesis with stacked generative adversarial networks. : https://arxiv.org/abs/1612.03242
这两篇篇论文引出stackGAN, 表明生成器的串联在某些任务上可以实现更好的效果

  1. Progressive growing of GANs for improved quality, stability, and variation: https://arxiv.org/abs/1710.10196
    这篇是proGAN, 提出从最低分辨率的图像开始生成,逐渐生成更高分辨率的图像,在此过程中,网络结构由简单逐渐变得复杂。网络完成训练后,足以生成2K分辨率真假难辨的图像。

  2. High-resolution image synthesis and semantic manipulation with conditional GANs:https://arxiv.org/abs/1711.11585
    这篇论文在loss和网络结构上都有一些改进,很适合图像翻译任务。

图像翻译

图像翻译任务是指将图像从一个域转到另一个域,比如:风格迁移,图像上色,图像转换等等,代表作主要是pix-2-pix系列。这里有个图像翻译小demo,感兴趣可以试玩下:https://affinelayer.com/pixsrv/

image.png-150.6kB
image.png-150.6kB
  1. Unsupervised pixel-level domain adaptation with generative adversarial networks :https://arxiv.org/abs/1612.05424
  2. Multimodal unsupervised image-to-image translation. : https://arxiv.org/abs/1804.04732
  3. Image-to-image translation with conditional adversarial networks. :https://arxiv.org/abs/1611.07004
  4. Unsupervised image-to-image translation networks. : https://arxiv.org/abs/1703.00848
  5. Coupled generative adversarial networks : https://arxiv.org/abs/1606.07536
  6. Learning from simulated and unsupervised images through adversarial training : https://arxiv.org/abs/1612.07828
  7. Unsupervised cross-domain image generation. : https://arxiv.org/abs/1611.02200
  8. High-resolution image synthesis and semantic manipulation with conditional GANs. : https://arxiv.org/abs/1711.11585
  9. Unpaired image-to-image translation using cycle-consistent adversarial networks. : https://arxiv.org/abs/1703.10593
  10. Toward multimodal image-to-image translation. : https://arxiv.org/abs/1711.11586

视频预测

GAN在图像上取得巨大成功的原因就是GAN可以很好学习到图像数据的数据分布并模拟出来,科研人员就开始将其应用到视频预测领域,根据视频的前一段时间发生的情况预测接下来的视频走向。这部分内容对研究视频合成,视频预测,异常检测等都有重要价值,也可以用来做一些有意思的demo。

  1. Unsupervised learning of disentangled representations from video : https://arxiv.org/abs/1705.10915
  2. Unsupervised learning for physical interaction through video prediction. : https://arxiv.org/abs/1605.07157
  3. Video pixel networks. : https://arxiv.org/abs/1610.00527
  4. Stochastic adversarial video prediction. : https://arxiv.org/abs/1804.01523
  5. Dual motion GAN for future-flow embedded video prediction. : https://arxiv.org/abs/1708.00284.
  6. Deep predictive coding networks for video prediction and unsupervised. : https://arxiv.org/abs/1605.08104
  7. Deep multi-scale video prediction beyond mean square error. : https://arxiv.org/abs/1511.05440
  8. Unsupervised learning of video representations using lstms. : https://arxiv.org/abs/1502.04681
  9. Decomposing motion and content for natural video sequence prediction. : https://arxiv.org/abs/1706.08033
  10. Generating the future with adversarial transformers. : https://ieeexplore.ieee.org/document/8099802
  11. The pose knows: Video forecasting by generating pose futures. : https://arxiv.org/abs/1705.00053

总结

本文主要推荐了一些GAN相关的文章,从理论分析到场景应用,从图像到视频。论文的推荐顺序既可以用来快速查找,也可以用来作为进阶的阅读顺序,人力有时穷,还有更多未提到的较好工作,欢迎补充。


BTW

从论文的链接上发现,大佬们的优秀成果都喜欢放在arxiv上,所以,大家希望探究最新的工作时,不妨直接去arxiv网站上找,这里给出链接:http://cn.arxiv.org/ 输入关键字,就可以查找希望看到的论文。

image.png-231.4kB
image.png-231.4kB
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容

  • 心里总埋藏着一个秘密让我们守口如瓶 有酒不一定有故事有故事一定有酒 我们真的醉过吗,亲爱的又有谁,敢醉于别人的酒呢...
    杨乌那希阅读 426评论 0 0
  • 最近看了一部电影,《七月与安生》。 在我看来那是一个,从两个极端向彼此靠近的故事。 林七月是个品学兼优的乖乖女,安...
    希望井阅读 354评论 0 1
  • 在我的小电脑前敲敲打打的时候,老妈端着一杯沏好的铁观音坐到我的对面。 “张玉晶,我在朋友圈看见你的文章下面有人点评...
    张玉晶阅读 407评论 16 11