基于图的分割 Efficient Graph-Based Image Segmentation 论文详解

输入图片
不同参数下的分割结果

原图片

产生superpixel的方法

1. How to segment an image into regions?    怎样把一张图片分割成不同的区域?

2. How to define a predicate that determines a good segmentation?    如何判定一个好的分割?

3. How to create an efficient algorithm based on the predicate?    怎样根据这个判定创造一个好的算法?

4. How do you address semantic areas with high variability in intensity?怎样处理亮度变化较大的分割区域?

5. How do you capture non-local properties in an image?如何获取图像的非局部特征?


第一个问题:怎样把一张图片分割为不同区域?

一个无向图,由边,节点,权重组成

在这篇论文中,两点之间边的权重指的是两个顶点的不相似性,使用两个顶点RGB之间的平方差来得到。

树:特殊的图,图中任意两个顶点,都有路径相连接,但是没有回路。如上图中加粗的边所连接而成的图。如果,i和h这条边也保留下来,那么h,I,c,f,g就构成了一个回路,就不是树了。

最小生成树(MST,minimum spanning tree):特殊的树,给定需要连接的顶点,选择边权之和最小的树。上图即是一棵MST。

第一个问题解答:本文中,初始化时每一个像素点都是一个顶点,然后逐渐合并得到一个区域,确切地说是连接这个区域中的像素点的一个MST。如图,棕色圆圈为顶点,线段为边,合并棕色顶点所生成的MST,对应的就是一个分割区域。分割后的结果其实就是一棵一棵的书。

最小生成树示意图


第二个问题:如何判定一个好的分割?

最左边原始图中,左部分是斜坡区,右侧平缓区,嵌在平缓区里的是高频区

一个好的分割就是能够区分好这三种区域的分割。

先看一下,我们原始的分割造成上图中间效果的原因。

如何确定两个区域是否可以合并

判定红色区域和绿色区域是否合并,通过紫色边<不相似性>来判断,设置一个唯一阈值,如果小于这个阈值,就合并。对于高频区,我们可以称为二维码区,想要把这个区域分割成一个区域,这个阈值就得设置成很大的数,那么对于斜坡和平缓区,所有的值都会小于这个阈值,导致,这三个区域并到一起,失去分割效果。相反,如果,我们的阈值设置的很小,就会导致二维码区域保留,一小块一小块的。

造成贴图的中间的那个不正确分割效果图的原因是,我们设置的阈值适中,把二维码图并到了平缓区中。



第三、四个问题:怎样根据这个判定创造一个好的算法?怎样处理亮度变化较大的分割区域?

我们应该对于不同的区域设置不同的阈值。根据这个想法,作者提出了自适应的阈值调整方法。这样,对于高频区,我们的阈值自动变大,平缓区阈值自动小,这样就可以实现上面三个高频,斜坡,平缓区的分割了。

C1和C2表示两颗MST

Mint表示同一颗树下权重最大的边(最不相似的两个点)

Dif 表示链接两个树的最小权重边

如果Dif>=Min(Mint(c1),mint(c2)),两个树之间的距离>min(这两个树中最大的那两个权重边);  表示他们不是同一个类,不能合到一起。Min(Mint(c1),mint(c2)表示c1和c2能够共同容忍的最大差异。

对于初始点,图片的每一个像素都是一个独立的MST,所以必须是两个像素值完全一样才能满足上面条件,所以我们,要设置一个初始阈值,这个阈值要有一个性质,随着我们树的变大(C变大),这个初始阈值tao(C)逐渐趋向于0,使得我们的自适应阈值起作用。k控制合并后的区域的大小。k=0,表示,所有像素值完全相同才可以合并。k非常大,不同像素值之间可以有差异。

左边是k小,右边k大
初始阈值,c表示树节点的个数

算法步骤:首先,下图中的每一个圆点都是代表一个像素,

1. 我们先对每一个像素计算与他相邻的八个位置的不相似性,也就是他们之间权重。

2.按照从小到大的顺序排列,选出最小的边,把他们合并到一个分割里面

3.此时,就要参照,两颗树如何合并了,如果类间的差异<类内共同容忍的最大差异,那么合并,更新新区域,一直重复这个操作

4.更新该类的不相似度阈值,C变大了。

5.结束条件,找不到一条边能够满足条件,结束。


算法步骤

如何获取图像的非局部特征?

使用了位置,颜色作为每个像素的描述

计算两个pixel的欧式距离,选取10个最近邻,保证时间复杂度。这个是用来解决分割区中间稍微有断开的情况,如果只考虑颜色方面的信息,会导致分割区域被断开,如果考虑他们的位置信息,可以稍微避免这个问题。

对于彩色图片,上文是将R,G,B作为距离,整张图片只进行一次分割,原文说对每一个通道都进行一次分割,最后对结果取交集,也就是说图片中的两个点要划分到同一个区域,则在R,G,B三个通道的划分结果中,始终在同一个区域作为最终分割结果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,233评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,013评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,030评论 0 241
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,827评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,221评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,542评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,814评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,513评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,225评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,497评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,998评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,342评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,986评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,812评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,560评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,461评论 2 266

推荐阅读更多精彩内容

  • 1、阈值分割 1.1 简介 图像阈值化分割是一种传统的最常用的图像分割方法,因其实现简单、计算量小、性能较稳定而成...
    木夜溯阅读 22,410评论 9 15
  • 1 序 2016年6月25日夜,帝都,天下着大雨,拖着行李箱和同学在校门口照了最后一张合照,搬离寝室打车去了提前租...
    RichardJieChen阅读 5,016评论 0 12
  • -DFS(Depth First Search):深度优先搜索 访问完一个顶点的所有邻接点之后,会按原路返回,对应...
    Spicy_Crayfish阅读 2,774评论 1 0
  • 有喜欢的作品,请与小编联系! 作品名称:进山 作品尺寸:直径65cm 装裱状态:未裱 作品价格:980元 作品名称...
    书画艺贰叁阅读 237评论 0 0
  • 昆仑神泉 昆仑山中一亭台 碧波荡漾欲漫沿 手掬一捧甘如蜜 众客疑为天上来 横断山脉 踏破横断手擎天 笑看白云绕脚前...
    货车司机牛二哥阅读 843评论 5 11