人脸识别图像的模糊度判别算法的优化
最近在做一个项目,需要处理网络摄像头传过来的图像,判断图像质量,识别图像中的人员,再做分割处理后,发给百度AIP face做人脸识别和比对.
因为,摄像头发过来的图像的质量参差不齐,需要判断图片的清晰程度,因为是做人脸识别,尤其是要脸部清晰.所以需要判断图片的模糊度,来决定是否采录图片还是放弃.
1.强大的百度 AIP Face
百度在AI领域做的非常不错,而且他的人脸识别的API也是开放的,尝试采用类似Openface等类似的人脸识别框架后,难以达到商业级别的应用,所以我们考虑采用百度的人脸识别系统作为BACKEND.
使用过程中,也觉得非常不错,接口参数和识别率也都很不错.
2.百度API的接口参数
我们需要做图片的清晰度的检查,术语就是取得图片的blur值.blur直译就是模糊,就是我们所说的图片模糊度,值越小就越模糊.
在识别前,我们这边服务器调用人员的图片,做人脸检测,百度AIP face会返回很多参数来判断人脸的可信度,光照,角度,可信度及人员的年龄性别等等. 当然这里也有blur值,表明图片的模糊程度.
人脸检测 返回示例:
{
"result_num": 1,
"result": [
{
"location": {
"left": 117,
"top": 131,
"width": 172,
"height": 170
},
"face_probability": 1,
"rotation_angle": 2,
"yaw": -0.34859421849251,
"pitch": 2.3033397197723,
"roll": 1.9135693311691,
"landmark": [
{
"x": 161.74819946289,
"y": 163.30244445801
},
...
],
"landmark72": [
{
"x": 115.86531066895,
"y": 170.0546875
}，
...
],
"age": 29.298097610474,
"beauty": 55.128883361816,
"expression": 1,
"expression_probablity": 0.5543018579483,
"gender": "male",
"gender_probability": 0.99979132413864,
"glasses": 0,
"glasses_probability": 0.99999964237213,
"race": "yellow",
"race_probability": 0.99999976158142,
"qualities": {
"occlusion": {
"left_eye": 0,
"right_eye": 0,
"nose": 0,
"mouth": 0,
"left_cheek": 0.0064102564938366,
"right_cheek": 0.0057411273010075,
"chin": 0
},
"blur": 1.1886881756684e-10,
"illumination": 141,
"completeness": 1,
"type": {
"human": 0.99935841560364,
"cartoon": 0.00064159056637436
}
}
}
],
"log_id": 2493878179101621
}
质量判断
可通过人脸检测接口，基于以下字段和对应阈值，进行质量检测的判断，以保证人脸质量符合后续业务操作要求。
指标 字段与解释 推荐数值界限
- 遮挡范围 occlusion（0~1），0为无遮挡，1是完全遮挡
- 含有多个具体子字段，表示脸部多个部位
- 通常用作判断头发、墨镜、口罩等遮挡 left_eye : 0.6, #左眼被遮挡的阈值
- right_eye : 0.6, #右眼被遮挡的阈值
- nose : 0.7, #鼻子被遮挡的阈值
- mouth : 0.7, #嘴巴被遮挡的阈值
- left_check : 0.8, #左脸颊被遮挡的阈值
- right_check : 0.8, #右脸颊被遮挡的阈值
- chin_contour : 0.6, #下巴被遮挡阈值
- 模糊度范围 Blur（0~1），0是最清晰，1是最模糊 小于0.7
- 光照范围 illumination（0~255）
- 脸部光照的灰度值，0表示光照不好
- 以及对应客户端SDK中，YUV的Y分量 大于40
- 姿态角度 Pitch：三维旋转之俯仰角度[-90(上), 90(下)]
- Roll：平面内旋转角[-180(逆时针), 180(顺时针)]
- Yaw：三维旋转之左右旋转角[-90(左), 90(右)] 分别小于20度
- 人脸完整度 completeness（0或1），0代表完整，1代表不完整 小于0.4
- 人脸大小 人脸部分的大小
. 建议长宽像素值范围：8080~200200 人脸部分不小于100*100像素
当然,百度的接口参数还很多,可以到官网查看 百度人脸识别
3.百度的API的一个小问题
我们先看这两张图片:
很明显,我们通过肉眼观察就可以马上判断出来上面的照片更加模糊,下面的照片还算可以.
我们调用百度的facedetect,返回的值判断一下那个模糊度范围 Blur,发现 上一张的值要比下面的小很多,也就是百度判断上面的照片比下面的照片要清楚很多. 这个太反直觉了,难道百度算错了吗?
4. 找到原因
是什么让百度的计算有问题,难道是Blur的算法有问题吗?
我们决定自己写一套清晰度的算法,我们采用用 OpenCV和拉普拉斯算子来计算图片中的模糊量,也就是拉普拉斯方差算法(Variance of the Laplacian).
只需要将图片中的某一通道（但一般用灰度值）用下面的拉普拉斯掩模做卷积运算：
然后计算方差(即标准差的平方)。
如果某图片方差低于预先定义的阈值，那么该图片就可以被认为是模糊的。高于阈值，就不是模糊的。
这种方法凑效的原因就在于拉普拉斯算子定义本身。它被用来测量图片的二阶导数，突出图片中强度快速变化的区域，和 Sobel 以及 Scharr 算子十分相似。并且，和以上算子一样，拉普拉斯算子也经常用于边缘检测。此外，此算法基于以下假设：如果图片具有较高方差，那么它就有较广的频响范围，代表着正常，聚焦准确的图片。但是如果图片具有有较小方差，那么它就有较窄的频响范围，意味着图片中的边缘数量很少。正如我们所知道的，图片越模糊，其边缘就越少。
借助opencv,代码很简单:
import cv2
imagePath ='./data/y1.jpg'
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y1 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())
imagePath ='./data/y2.jpg'
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y2 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())
y1 blur: 1663.09841446
y2 blur: 924.740511
这次真的惊得掉了下巴,竟然和百度的运算一致! 看来算法并没问题,那么问题出在哪里呢?
思考片刻,找到答案,原来是这样:
- 造成图片的模糊有2个原因,一种是目标快速移动,还一种是摄像机本身抖动.
- 目前监控摄像头造成的迷糊原因是目标快速移动,而背景不动
- 拉普拉斯方差计算会使用拉普拉斯掩模对整张图做卷积运算,而背景不动的部分其实很清晰,只是移动的目标部分模糊罢了,这样整个结果值就低了.
下面,我们采用获取人脸区域,只计算人脸区域的拉普拉斯卷积值.
图片如下:
import cv2
imagePath ='./data/y10.jpg'
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y1 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())
imagePath ='./data/y20.png'
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y2 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())
y1 blur: 418.203306267
y2 blur: 1196.72339094
结果和预想的一样完美!
这样就知道百度API对图像的模糊度判断的问题了.
解决方案
我们目前,直接使用拉普拉斯卷积算子计算,只是不再最整张图片处理,只针对脸部区域计算.这样结果就很好.
我们建议百度能过修改AIP face中Blur的算法,及考虑相机抖动也考虑目标移动2种情况下产生的模糊问题,使得计算的blur值更加靠谱.
