2019-10-24

A Morphable Model For The Synthesis Of 3D Faces

 
Abstract


Two key problems

  1. New face images or new 3D face models can be registered automatically by computing dense one-to-one correspondence to an internal face model.
  2. The approach regulates the naturalness of modeled faces avoiding faces with an "unlikely" appearance.

A morphable face model

  1. transform the shape and texture into a vector space representation, the shape and texture guide manual modeling or automated matching algorithms(空间向量表示)
  2. model new faces and expressions by forming linear combinations of the prototypes(线性组合)

Results

  1. 3D faces reconstructions from single images
  2. Photo-realistic image manipulations applications
  3. Faces manipulations by complex parameters

Contents

Limitations

  1. Finding corresponding feature locations in different faces

     The correspondence problem turns into a mathematicaloptimization problem
    
  2. separating faces from faces

Procedure

  1. Deriving a 3D face model from a novel image
  2. Modifying shape and texture in a natural way.
image

Dtabase

  1. 200 heads(100 males and 100 females)
  2. Radii r(h,Φ) of surface points sampled at 512 equally-spaced angles Φ, and at 512 equally-spaced vertical steps h
  3. RGB values

Morphable 3D Face Model

image

We estimate the probability distribution for the coefficients a and b from example set of faces. The distribution can enable us to control the likelihood of a and b of the generated faces.
A Morphable Model For The Synthesis Of 3D Faces
===
 
Abstract


Two key problems

  1. New face images or new 3D face models can be registered automatically by computing dense one-to-one correspondence to an internal face model.
  2. The approach regulates the naturalness of modeled faces avoiding faces with an "unlikely" appearance.

A morphable face model

  1. transform the shape and texture into a vector space representation, the shape and texture guide manual modeling or automated matching algorithms(空间向量表示)
  2. model new faces and expressions by forming linear combinations of the prototypes(线性组合)

Results

  1. 3D faces reconstructions from single images
  2. Photo-realistic image manipulations applications
  3. Faces manipulations by complex parameters

PCA

image

因为ΔS是S减去均值,所以ΔS的维数最多是m-1,ΔT同理

Segmented morphable model

image

The idea is that dividing faces into independent subregions that are morphed independently, for example into eyes, nose, mouth and a surrounding region. This segmentation is equivalent to subdividing the vector space of faces into independent subspaces 如上图所示,把人脸分成了四部分:眼睛、鼻子、嘴巴以及周边,控制每个区域的值,会得到不一样的效果图。通过这几个部分的线性组合重构出一个完整的人脸。

Facial attributes

expressions model

image

Sneutral和Tneutral表示中性也就是面无表情的时候脸部的shape和texture,这个模型求出有表情和无表情的差异,然后再把这种差异加到new face上,就可以再new face上产生新的表情,也就是控制人脸的表情。

这个模型比较粗糙,2018-Deep video portraits中将该模型细化了

optic flow

光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。一般而言,光流是由于场景中前景目标本身的移动、相机的运动,或者两者的共同运动所产生的。

当人的眼睛观察运动物体时,物体的景象在人眼的视网膜上形成一系列连续变化的图像,这一系列连续变化的信息不断“流过”视网膜(即图像平面),好像一种光的“流”,故称之为光流(optical flow)。光流表达了图像的变化,由于它包含了目标运动的信息,因此可被观察者用来确定目标的运动情况。

研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。运动场,其实就是物体在三维真实世界中的运动;光流场,是运动场在二维图像平面上(人的眼睛或者摄像头)的投影。

那通俗的讲就是通过一个图片序列,把每张图像中每个像素的运动速度和运动方向找出来就是光流场。那怎么找呢?咱们直观理解肯定是:第t帧的时候A点的位置是(x1, y1),那么我们在第t+1帧的时候再找到A点,假如它的位置是(x2,y2),那么我们就可以确定A点的运动了:(ux, vy) = (x2, y2) - (x1,y1)。

optic flow 算法

基于梯度的方法、基于相位的方法、基于匹配的方法、基于能量的方法、神经动力学.算法参考这篇文章

《A Database and Evaluation Methodology for Optical Flow》

MunsellColor System(孟塞尔颜色系统)

image

南北轴=明度(value):从全黑到全白

经度=色相(hue):把圆周分成物种主色调及中间色调

距轴的距离=色度(chroma):表示色调纯度,没有理论的上限。普通颜色的上限为10,反光、荧光等材料

具体颜色的标识形式:明度+色相+色度

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249