Disentangled Representation Learning GAN for Pose-Invariant Face Recognition

1. 前言

这是CVPR2017的文章。

2. 介绍

在这篇论文中,作者提出了Disentangled Representation GAN(DR-GAN)。如下图:

Figure 1

如下图是之前的GAN和作者提出的DR-GAN的对比图:

GAN

传统的GAN如图中的(a)所示,G的输入是一个随机向量,产生一个合成的图片。
作者提出了如图中(d)所示,使用一个encoder-decoder结构作为
G
。encoder
G_{enc}
的输入是一个任意姿态的人图片,decoder
G_{dec}
的输出时一个目标姿态的合成人脸图片。它的输入有:一张人脸照片,一个姿态编码
c
,一个随机向量
z
。编码解码器的连接可以作为学习到的人脸的特征表示。因此,
G_{enc}
学习到了输入图片到特征表示的映射。
除此之外,
D
不仅用于区别真实和合成的图片,同时可以预测人的id和人脸的姿态。

3. 模型

DR-GAN有两个变形,一个basic model,它将一副图片作为输入,称为single-image DR-GAN,另一个是multi-image DR-GAN,它的输入是多个图片。

3.1 GAN

通常情况下GAN包含一个generator G,一个discriminator D,两者在一个问题中进行最大化,最小化的竞争。D会尽量区分出真实图片和生成图片G(z),与此同时G会尽量生成一个看似真实的图片来欺骗D。如下图:

(1)

也就是说
D
G
分别用下面的公式进行训练:
2,3

3.2 Single-Image DR-GAN

Single-Image DR-GAN和传统的GAN有两处明显的区别

  • 一是它使用一个encoder-decoder结构作为generator来学习人脸图片的identity representation。这个表示就是一个人脸的等价的特征表示,它是encoder的输出,decoder的输入。
  • 二是在人脸识别中,可能存在一些别的特征,例如不同姿态的人脸,因此这个特征可能包含了这些信息。为了应对这种情况,除了将id作为label,还将姿态,亮度等信息作为label。

根据前面所描述的,我们可以对问题进行表述:
给定一张人脸图片:x和它的label:y={y^d, y^p},前者为id,后者为姿态。我们的目标是:1.学习一个姿态无关的人脸特征表示,2.合成一张相同id但是不同姿态的人脸图片。并且,这里的D是一个多目标的CNN网络,也就是它包含了两个部分:[D^d, D^p]
也就是说,给定输入人脸图片xD会产生它的id和姿态,给定一个生成人脸\hat{x} = G(x,c,z)D会努力预测它为假。如下式:

4

与此同时,G包含了一个encoder, 一个decoder。encoder产生一个输入人脸图片的特征表示:f(x) = G_{enc}(x),decoder输出生成的人脸图片:\hat{x} = G_{dec}(f(x), c, z),其中c是目标姿态,z是噪音。如下式:

5

G
的目标就是骗过
D
,让
D
把一张生成的图片分类为真实图片。

3.3 Multi-Image DR-GAN

如下图,Multi-Image的D是相同的,但是有不同的G

Figure 3

G_{enc}
除了提取特征
f(x)
,还会估计一个信任值confident coefficient
\omega
,来预测学习得到的特征的质量。当有
n
个输入图片时,它们使用加权和来共同产生一个特征:
(6)

需要注意的是,所有的G_{enc}共享一组参数。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容