OpenCV-Python教程:46.摄像头标定

基础

今天的针孔摄像头对图像做了很多扭曲,两个主要的扭曲是径向畸变和切向畸变。

由于径向畸变,直线会显示成曲线,当直线离图像中心越远时越明显。比如下面显示的这张图,棋盘的两个用红色标出来的边缘,你可以看到棋盘不是直线,也不和红线匹配。所有的直线都凸了。

扭曲可以用下面的来解决:

类似的,另一个切向畸变是因为成像的光线不是完全平行的到达镜像平面。所以有些区域比期望的要看上去离的近。可以用下面的方式解决:

简单说,我们需要找到5个参数,叫做畸变参数:

除此之外,我们需要找到更多的信息,比如摄像头的内部和外部参数,内部参数是摄像头特定的参数。包括焦距(fx, fy)。光学中心(cx, cy)。也叫摄像机矩阵。它只依赖摄像头本身。一旦算出来就可以保存下来为以后使用,它应该是一个3x3的矩阵:

外部参数对应了旋转和平移向量来反应一个3维的点到2维的系统里。

对于立体的应用,这些扭曲需要首先被矫正。要找到所有的这些参数,我们得做的是提供一些有良好定义模式的样例图像(比如棋盘)。我们找到特定的点(棋盘的四个角),我们知道他们的真实世界的坐标,我们知道他们在图像里的坐标。通过这些数据,后台就能解决一些数学问题以得到畸变参数。

编码

上面提到的,我们需要10个测试模式来做摄像机矫正。重要的输入数据是3D真实世界的点和他们对应的2D图像的点。2D图像点好办我们可以很容易的从图像里的得到。

3D真实世界的点呢?那些图像是从静态摄像机拍摄,棋盘放在另一个位置和方向。所以我们需要知道(X, Y, Z)的值。但是为了简单,我们可以说棋盘静止在XY平面。(所以Z=0)且摄像机相应的移动。这个考虑帮我们找到X,Y值,现在对于X,Y值,我们可以简单的传入点(0, 0), (1, 0), (2, 0),... 表示点的位置。在这种情况下,我们得到的结果是棋盘的大小量度。但是如果我们知道面积,(比如30毫米),我们可以传入值(0,0), (30,0), (60, 0),...,我们可以用mm来表示结果。

3D的点被叫做物体点,而2D的图像点被叫做图像点。

设置

要找到棋盘的模式,我们用函数cv2.findChessboardCorners()。我们也需要传我们要找的模式的类型,比如8x8网格,5x5网格等,在这个例子里,我们使用7x6网格(一般来说棋盘都是8x8的方块7x7的内角),它返回角点。这些角点会按照从左到右,从上到下的顺序放好。

这个函数可能没法在所有图像里找到需要的模式,所以一个号的选择是写代码,启动摄像机,然后检查每帧,找需要的模式,当取得了模式,找到角点,并存在列表里。同时提供一些间隔,然后在读下面的帧的时候我们可以调整我们的棋盘的方向。不断进行这个过程知道需要的好的模式都获取到了。即使在这个例子里,我们也不知道多少是好的,所以我们读入所有的图像取里面好的。

除了棋盘,我们可以使用一些环形滤线。但是之后使用函数cv2.findCirclesGrid()来找模式,据说使用环形滤线的时候回用更少的图像。

当我们找到了角点,我们用cv2.cornerSubPix()函数增加他们的准确度.我们也可以用cv2.drawChessboardCorners()来画出模式,所有这些步骤用下面的代码:

import numpy as np
import cv2
import glob

# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.

images = glob.glob('*.jpg')

for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, (7,6),None)

    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)

        corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        imgpoints.append(corners2)

        # Draw and display the corners
        img = cv2.drawChessboardCorners(img, (7,6), corners2,ret)
        cv2.imshow('img',img)
        cv2.waitKey(500)

cv2.destroyAllWindows()

一个画了模式的图像:


标定

所以现在我们有了物体点,和图像点,我们可以标定了。我们使用函数cv2.calibrateCamera()。它返回摄像机矩阵,畸变参数。旋转和平移向量等。

ret,mtx,dist,rvecs,tvecs=cv2.calibrateCamera(objpoints,imgpoints,gray.shape[::-1],None,None)

反畸变

我们得到了我们要的,现在我们可以拿个图像把它反畸变了。OpenCV提供了两个方法,我们都看看,但是在此之前,我们可以打磨一下摄像机矩阵,用一个cv2.getOptimalNewCameraMatrix()。如果参数alpha = 0, 它返回含有最小不需要像素的非扭曲图像,所以它可能移除一些图像角点。如果alpha = 1, 所有像素都返回。

img=cv2.imread('left12.jpg')
h,w=img.shape[:2]
newcameramtx,roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))

1. 使用cv2.undistort()

这是个捷径。只用调用函数,使用ROI

# undistort
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png', dst)

2.使用重测图

这是曲线救国,首先找到从扭曲图像到非扭曲图像的映射函数。然后使用重测函数。

# undistort
mapx, mapy = cv2.initUndistortRectifyMap(mtx, dist, None, newcameramtx,(w,h), 5)
dst = cv2.remap(img, mapx, mapy, cv2.INTER_LINEAR)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png', dst)

两个方法都返回同样的结果。看下面:

你可以看到在结果里所有的边都是直的

现在你可以把摄像机矩阵和畸变参数存下来,使用Numpy的写函数(np.savez, np.savetxt等),为以后使用

重投影差

重投影差给了找到的参数是否准确的一个好的估计。这个应该越接近0越好。对于内在的,扭曲的,旋转和平移矩阵,我们首先用cv2.projectPoints()转换物体点到图像点,然后我们计算转换和找角点算法之间的绝对范数。要找到平均差我们计算所有校对图像的算术平均值。

mean_error = 0
for i in xrange(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    tot_error += error
    print "total error: ", mean_error/len(objpoints)

推荐阅读更多精彩内容