PIL验证码图片预处理

PIL验证码图片预处理

概论

在用tesseract进行验证码识别之前,我们首先需要对验证码图片进行预处理,尽量去除噪声,而只保留有验证码信息的像素。本文主要介绍一些基本的验证码预处理方法。

通常验证码图像预处理可见下图(第二步骤):


图像预处理流程

验证码噪声分析

通常验证码噪声主要有以下:

  • 变色:
    对验证码字符像素进行变色,但一般而言为了可以辨认都是和图像底色有一定差别的。这就可以通过二值图像,把验证码字符和底色进行鲜明的区分。

    比如以下两种验证码,字体像素和背景差别很明显,通过PIL库二值化基本就能分理出字符像素:


    处理后:



  • 干扰点
    干扰点基本上可以算是椒盐噪声,即离散的单独存在的噪点。这种噪声,一般噪点像素和周围像素差别较大,可以简单地用中值滤波处理(如果遇到高斯噪声的可以用高斯滤波)。
    另外也可以遍历像素,计算一个像素4领域或者8领域的像素是否跟图像底色近似(用一个阈值做判断),如果超过一定数量则判断该像素为噪声,将此像素设为背景色。
  • 干扰线:
    干扰线依赖于绘制方式,分曲线和直线。但不管如何,其主要特点是像素是线性连接的,这就可以通过Flood Fill进行着色,并统计着色面积(一般都是验证码像素的着色面积最大),最后把那些着色面积小的噪声像素删除。
  • 文字倾斜:
    再去除噪声之后,可以把倾斜的文字像素通过仿射变换变成正体字。或者干脆直接用斜体的字建立训练模型(如果验证的字体倾斜方向比较单一的话还是可行的)。

去噪实例

验证码获取&噪声分析

验证码地址:
http://scm.sf-express.com/isc-vmi/loginmgmt/imgcode?a=0.18090831750297091

该验证码主要是增加了不同颜色的干扰线,并且干扰线比较细短。因此考虑先用PIL库将其转换成二值图,之后通过遍历每个像素点,判断邻域像素来删除多余噪声。

PIL二值图处理

灰度图转换:

img = Image.open(loadpath+file).convert("L")

PIL二值图算法:

手动遍历像素,以一定阈值为界限,把图片变成二值图像。

def binarizing(img,threshold): #input: gray image
    pixdata = img.load()
    w, h = img.size
    for y in range(h):
        for x in range(w):
            if pixdata[x, y] < threshold:
                pixdata[x, y] = 0
            else:
                pixdata[x, y] = 255
    return img

结果:

可见二值化的图像并不能去除干扰线,这样的图像直接用tesseract做识别成功机会不会超过5%。因此需要把这些干扰线去除,这就需要用一定的算法来处理像素。

干扰线去噪算法

如图,对于以上直线行干扰线而言,从左到右的像素遍历会把干扰线的起点像素识别为噪声(3邻域像素都是背景色),然后继续遍历下去干扰线就清除了。当然对于较粗的2像素、3像素噪声,也是同样道理。

4邻域像素算法:

对于像素值>245的邻域像素,判别为属于背景色,如果一个像素上下左右4各像素值有超过2个像素属于背景色,那么该像素就是噪声。

def depoint(img):   #input: gray image
    pixdata = img.load()
    w,h = img.size
    for y in range(1,h-1):
        for x in range(1,w-1):
            count = 0
            if pixdata[x,y-1] > 245:
                count = count + 1
            if pixdata[x,y+1] > 245:
                count = count + 1
            if pixdata[x-1,y] > 245:
                count = count + 1
            if pixdata[x+1,y] > 245:
                count = count + 1
            if count > 2:
                pixdata[x,y] = 255
    return img

处理结果:

可见第二幅图像有一处黑线噪声未去除,这是因为我采用了由左向右,由上向下遍历像素法,而仔细观察该验证码像素还是有黑色边框的,因此通过去除边框或者改变遍历方向就能去除该噪声。

tesseract测试

用默认的tesseract进行20个样本的测试(没有自己训练数据),限定参数 -psm 7表示识别单行字符,并限定字符集为数字和大写字母。
结果其中有15个样本识别正确,成功率大概75%
主要问题集中在tesseract默认识别容易把G识别成6,把Y识别成V,因此为了提高识别率自己训练数据还是必要的。

推荐阅读更多精彩内容