本征图像分解:Retinex理论

我们通过眼睛观察到或者相机拍摄到的物体颜色主要由两方面因素决定,第一是物体本身的材质和颜色,比如我们常说的“花红柳绿”就表达了我们对于普通花朵和柳叶本身颜色的最朴素的认知;第二是周围的光照环境,包括了光源的颜色、强度分布等。同一物体在不同的光照环境下往往表现出不同的颜色。那么,有没有可能通过一种技术,可以把上述两种因素分离开?如此一来,我们便可以通过改变其中某一具体的因素来实现一些简单的图像处理效果。比如,我们可以通过单纯改变光照环境,从而把一朵在室外拍摄的鲜花,虚拟地表现为在室内拍摄的样子。本征图像分解正是一种这样的计算机视觉技术。传统的本征图像分解试图将一张图片I按照公式:
I = A * D
分解为两个部分,即图片的反射率本征图以及图片的亮度图。如图1.2所示,其中反射率本征图4表达了包括物体材质、颜色等在内的与周围环境无关的物体本征反射M性;而亮度本征图则包含了光照环境与物体几何结构作用后的明暗信息。简单来说,反射率本征图A和亮度本征图D分别反映了物体本身的颜色和周围光照这两个相互独立的信息。为了方便计算和提高算法的稳定性,人们往往对公式1做对数运算,从而得到:
i = a + d

其中i = logI, a = logA, d = logD.这样我们只需要求解亮度本征图D的对数i,而反射率本征图A的对数a可以通过i-d间接得到

从上述公式中不难发现,在本征图像分解的数学描述中,需要求解的未知量包括了反射率本征图以及亮度图而己知量则只有输入的图片。
也就是说,要求解的未知量数量是已知量的两倍。因此,本征图像分解也属于计算机视觉领域中常见的不适定问题[注]。针对这类问题,研究学者们一般采用添加合理的约束或者先验的方法来求解此类问题。具体到我们所关注的本征图像分解问题,常使用的先验知识包括了局部和全局的Retinex约束、时域Retinex约束、几何结构约束等等。

Retinex理论

在本征图像分解问题的求解中应用最为广泛的先验约束就是Retinex理论。它是由英文单词retina(视网膜)和cortex(皮层)组成的一个合成词。该理论重点解释了人类视觉系统对颜色和亮度的感知模型。它主要包含了两个方面的内容:
1.物体的颜色是由其对长波、中波和短波光线的反射能力决定的,并不依赖于反射光线的强度;
2.物体的颜色不受光照非均性的影响,具有一致性。
基于Retinex理论,我们认为,一般而言,在一张图片上相邻两个像素之间的反射率和亮度变化均很小。因此,一张图片的反射率本征图和亮度本征图可以通过最小化他们的梯度图来求解

[注]在经典的数学理论中,人们只研究满足下列三个条件的适定问题:1、存在性:解是存在的;2、唯一性:解是唯一的;3、稳定性:解连续依赖于初边值条件。这三个条件中,只要有一个不满足,则称之为不适定问题。

应用

Retinex理论广泛应用在图像增强领域,传统方法上有:

  1. 单尺度Retinex:SSR
  2. 多尺度Retinex:MSR
  3. 带色彩恢复的Retinex:MSRCR

深度学习方法中也有应用到该理论的,即RetinexNet[4],这篇文章首先是用单反相机不同的光圈值和感光度拍摄同一个场景,作为图像对进行训练,也就是说同一场景拍摄一个低照度图像,然后在拍摄一个正常图像进行训练。它包括一个用于分解的分解网络(Decom)和一个用于照明调节(Relight)的增强网络。分解网络通过关键的约束条件,包括低/正常光图像共享的一致反射率,以及光照的平滑度来训练。在分解网络的基础上,利用增强网络对光照进行后续的亮度增强,并使用去噪方法对反射图进行去噪操作。网络端到端训练,学习分解的性质有利于亮度的调节。

参考文献:
[1]. 李琛. 人脸本征图像分解及其应用 [D]. 浙江大学, 2017. 链接:http://cdmd.cnki.com.cn/Article/CDMD-10335-1017251250.htm
[2]. 谢凤英,汤萌,张蕊.基于Retinex的图像增强方法综述[J].数据采集与处理,2019,34(01):1-11.
Xie Fengying,Tang Meng,Zhang Rui.Review of Image Enhancement Algorithms Based on Retinex[J].Journal of Data Acquisition and Processing,2019,34(01):1-11.链接:http://sjcj.nuaa.edu.cn/sjcjycl/article/html/201901001
[3]. Retinex图像增强算法(SSR, MSR, MSRCR)详解
[4]. Wei C, Wang W, Yang W, et al. Deep retinex decomposition for low-light enhancement[J]. arXiv preprint arXiv:1808.04560, 2018.

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,233评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,013评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,030评论 0 241
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,827评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,221评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,542评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,814评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,513评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,225评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,497评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,998评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,342评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,986评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,812评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,560评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,461评论 2 266

推荐阅读更多精彩内容