文章学习43“NIMA: Neural Image Assessment”

本文是TIP2018年8月刊登的一篇进行图像评估的文章,作者来自Google研究院,本文在IQA领域不是很出名,但是图像美学评估里一篇必看的文章,所以GitHub上复现的代码非常非常多。

类似于IQA问题中的TID和LIVE数据集,美学图像质量评估中也有一个较大的数据集AVA,其中包括255000张图像,每一张都有200位左右的摄影师进行打分,分值范围是1~10,下图是打分分值分布,可以看出平均分在5.5左右,有将近一半的图像标准差大于1.4.进行这些统计的原因来自于本文的贡献点:以往进行图像质量评估的方法都是以人工打分的平均值作为label,而统计表明分值的偏差过大,用平均值来拟合恐怕不合适,因此作者在本文中提出用分值的概率分布来作为label,用EMD作为loss函数进行训练。

而TID2013数据集中的统计分布却不符合上述观察,据我猜测,应该是由于TID中大部分数据都是由人工增加噪声或者损害得到的,其比较起来很容易进行排序,而且数据量又比较少(3000张),所以难以发现偏差的问题,实验中用mos的平均值作为label即可。

再来看LIVE数据集,其为真实摄像获得的1172张图像,其标准差更大,所以如果针对真实图像来说,直接用平均值拟合不太合理。

基于上述发现和统计规律,作者希望舍弃掉mos的均值而使用分值的概率分布,网络主体结构部分借由ImageNet预训练的各个模型完成feature extract,而后直接通过全连接层进行10分类(1~10的得分),这里作者将传统IQA里的回归问题转化为了分类问题,受“Cross-entropy vs. squared error training: A theoretical and experimental comparison” 启发。

训练的loss函数为EMD(推土机距离,WGAN中大放异彩的loss),下式中的CDF值得前m项的累积和,通过EMD衡量两个概率的分布相似性。

本文方法的创新基本就上文中这些,把MOS的平均值换成概率分布,用EMD进行训练,但仍旧是美学图像质量评估的标准baseline。和其他期刊文章一样,作者也进行了大量的实验。

Feature extractor部分的网络有VGG,inception和mobilenet,在每个数据集上用80%进行训练,20%用于测试,在AVA数据集和TID2013的实验结果如下两表:

事实上性能并没有提升多少,甚至不如前人方法,但是快啊,用预训练的model实验,速度相当可以,再来看看作者前面发现的统计规律是否真实,下图是AVA数据集上测试分值的概率分布和平均值拟合结果,很明显可以看出平均值的概率分布拟合是很成功的,但是标准差就很难拟合了,作者认为是由于AVA数据集中图像的主题和风格非常规性影响的。

作者还做了跨数据集测试的实验和图像质量排序的可视化结果,具体不进行讲解,主要看一下作者利用这个评分标准进行图像恢复的实验,这一点也符合我工作的预期设想。作者在这里适用Turbo去噪,其中参数的调节就利用质量评估方法所给的指标进行反向反馈,实验证明这种方法可以减少过渡平滑的出现。但这种做法总感觉有点太暴力,也就类似于我拿个网络做IQA,然后我前面做图像恢复的网络用IQA结果当做loss。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容