天空是无限制的:基于语义的天空替换Sky is not limit:semantic aware sky replacement

第一个图片是输入图片,后面三个是不同风格的天空替换后的结果

这篇文章是给出一张输入的图片,论文中提出的方法自动的生成一组风格化天空图,我们首先使用了FCN全卷积神经网络,得到输入图片和一些参考图片的目标分割结果,然后使用我们自己设计的专门针对天空的线上分类器,分割出准确的天空区域,使用不同的天空对输入的图片的天空部分进行替换。看完这篇论文,我认为论文的重点其实在于如何找到跟输入图片相适应的天空,并产生一个让大家感觉很真实逼真的效果。

天空是图片中常见的背景,但由于拍摄时间的原因,导致通常一张照片很无趣。专业的摄影师就会使用老练的方法对图片进行处理,他们是怎样处理的呢?首先,使用过PS的同学应该会了解,他们使用套索工具,件天空区域准确的分割出来,然后换不同的天空图试试效果,然后调整前景的颜色来匹配我们选出的天空,这是一个比较麻烦的过程,那么对于不熟练的摄影师来说,就更不好处理了吧。所以我们提出了这样一种可以自动调整图片天空的方法(并且可以生成一组哦~~),在这篇论文中,我们主要是利用了视觉中语义分割来引导我们对天空进行查找,分割,替换。在对天空分割后,我们使用了一种方法对其进行优化,是一种从粗到细的优化,让分割的天空区域更加精确。在进行天空替换时候,我们采用了查找参考图片的语义布局与我们输入图片的语义布局相似的参考图片,提取出其天空部分,作为我们的替换天空。最后,为了保证生成图片的逼真性,我们对于图片的前景进行调整,为了保证替换天空与前景的一致,从我们的效果图片来看,文章最开头的大图中,我们看到,替换天空颜色变了后,我们的前景尤其是水域的颜色也跟着变了颜色,使得图片看起来很和谐。

接下来我们看看这篇论文的架构吧,然后按照里面顺序和重点,分别阐述。

论文架构

我们首先使用FCN对图片进行语义分割,就是下面这个深蓝色长条的部分,Scene Parsing 和 Semantic Response部分,可以得到场景中各个目标的全局布局,而且可以准确定位天空区域,即使天空区域的颜色,形状,大小和属性都不太相同。对原图进行语义分割后得到的各个语义响应图,天空,草地,建筑,根据他们的语义位置信息,去我们的数据库里找到跟原图中语义位置相似的图片,把他们的天空部分分割出来,替换到我们的天空位置。

为了选择一些有趣的天空作为替换,我们构建了415中很高美学质量的图片,我们使用FCN训练这些图片进行场景分割,以此来生成特征向量来表示语义的内容和布局~

这篇论文的贡献:

1.我们提出了一个一场景为驱动的全自动天空替换算法。

2.我们使用深度神经网络和线上的分类学习得到了一种由粗到细的准确的天空分割。

3.我们提出了一种语义搜索方案,能得到一组具有类似语义内容的图像天空之间的更换

4.我们提出了一种根据替换图的语义感知的前景风格转化的方法,以呈现美感和逼真的图像。说明白点,就是根据替换图片的水域,草地,建筑的色调,亮度来调整我们原始图片中水域草地和建筑的色调和亮度。


好的,我们把这个天空替换的任务,分为三个部分,这三部分都利用了语义信息,既然用到了语义信息,我们就需要用到FCN,得到语义信息。在使用FCN时,我们使用了新的数据库,从LMSun选取出户外的15000张图片,当然,LMSun中有很多小的目标没有出现在我们的日常的照片中,我们手工选出覆盖了大多数图片的类别,把那些小目标融合到前景中。

1.分割调整

2.从参考图中选择替换的天空

3.根据选出的天空的参考图的色调,调整我们合成后的图片的整体色调

首先,我们会使用FCN对所有的我们选出来的图片进行分割,得到每个像素属于每个类别的可能性,得到一个概率图,这个图里面是每个像素的属于某个类别的概率值。论文中挑选了11个类别,下图的横坐标。


蓝色表示pixel类别判定的准确率,红色表示我们分割结果和真是分割结果的重叠率

1.天空分割优化

我们使用FCN后,得到的pixel准确率已经达到了94%,尽管是这样,由于FCN输出的图像分辨率低,所以重新分割的分割mask是粗糙的,边界周围缺少细节,不能直接用于替换。如图


优化的结果如最右侧图所示

为了生成准确的分割区域,使用了FCN结果作为引导,学习出图像特定颜色和纹理的在线分类器。通过考虑邻居函数的能量函数制定了两类CRF问题去优化分割区域,公式如下:

能量函数

能量函数包含四项,第一项和第二项表示颜色和纹理单点势能,值是——天空/不是天空,第三项是根据FCN得到的位置信息项,最后一项是成对点势能用来判断相邻元素之间的平滑度,每一项前面的λ表示权重,前面三个单点项是权重比重相同,1:1:1这样子,最后一项权重设为100,保证两点之间的平滑度。

第一项,我们对RGB三项使用GMMs(颜色),通过计算GMM的可能输出的负对数来作为第一项的值。第二项,使用SVM的负对数得到(纹理)值,得到第三项,每个像素属于天空的概率值的负对数,第四项,使用FCN得到的响应图得到x点出的位置信息,相邻像素之间的梯度大小保证彬姐的平滑性。最小化能量函数,得到优化后的结果。平均IOU从原来的87.6%提升到了88.7%。


使用1000张图片,跟15年分割结果最好的方法进行比较



2.从参考图中选择替换的天空

选出的参考图片应该有的性质:跟输入图片有相同内容的,目标物体的空间布局相似,我们提出了一个描述子,能够包含语义场景布局。而GIST描述子是全局描述子,按照全局描述子相似的方法搜索得到的参考图片具有跟输入图片整体的相似性,这样得到的天空图片就会缺少多样性。

语义布局描述子


语义布局的描述子生成过程


1.随机选取天空2.GIST选取天空3.我们的方法

可以看出,我们选取的天空效果图是更多样的。天空颜色丰富。当然,初次之外我们还有考虑长宽比和分辨率,保证天空对齐。为了保证天空的多样性,我们与参考图片的颜色直方图做内积,夹角小,代表相似性高。


3.替换天空

作者没有写她是怎么替换的,姑且的当做她是手工的将参考图的天空区域拿出来,调整他的长宽使之适应我们的原图的天空部分,然后,为了保证现在的天空与原图的前景部分一致,我们要调整前景的色调,因为,我们选的参考图片与原图有相同的语义内容,所以,我们根据语义对应的区域色调调整原图。

若使用局部区域调整,由于不同局部区域之间的大的外观变化,所得到的图像通常包含边界周围的伪像,这些难以通过后处理去除


如何得到平滑效果如图所示的转换函数

对于语义匹配的区域,如果我们选出的天空颜色相似的话,前景的明亮度就不需要修改太多,下面的贝塔计算的是天空的相似度,语义不匹配区域,就需要计算全局的颜色差距

亮度调整规则

结果分析


查找方法和转换前景方法的有效性评估



c部分根据用户喜好b来选出一系列相似的天空


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容