简介
身份证识别，又称OCR技术。OCR技术是光学字符识别的缩写，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。
实现原理及步骤
- 灰度化处理
- 二值化
- 腐蚀：
- 轮廊检测
- 图像文字识别，
图片灰度化处理,就是将指定图片每个像素点的RGB三个分量通过一定的算法计算出该像素点的灰度值，使图像只含亮度而不含色彩信息。
二值化处理就是将经过灰度化处理的图片转换为只包含黑色和白色两种颜色的图像，他们之间没有其他灰度的变化。在二值图中用255便是白色，0表示黑色
图片的腐蚀就是将得到的二值图中的黑色块进行放大。即连接图片中相邻黑色像素点的元素。通过腐蚀可以把身份证上的身份证号码连接在一起形成一个矩形区域。
图片经过腐蚀操作后相邻点会连接在一起形成一个大的区域，这个时候通过轮廊检测就可以把每个大的区域找出来，这样就可以定位到身份证上面号码的区域。
将图像信息转化为可以使用的计算机输入技术。比如下面这张包含一串数字的图片，通过ocr识别技术可以将图片中包含的数字信息以字符串的方式输出。
使用到开源库
OpenCV 和 TesseractOCRiOS
OpenCV是一个开源的跨平台计算机视觉和机器学习库，通俗点的说，就是他给计算机提供了一双眼睛，一双可以从图片中获取信息的眼镜，从而完成人脸识别、身份证识别、去红眼、追踪移动物体等等的图像相关的功能
Tesseract是目前可用的最准确的开源OCR引擎，可以读取各种格式的图片并将他们转换成各种语言文本。而TesseractOCRiOS则是针对iOS平台封装的Tesseract引擎库。
cocopods 引入相应框架
0E2C84FE-596A-4416-85EA-8405085C8DE6.png
FDF2E3DC-1DA7-4015-B04F-FD3A07C0D8DB.png
我再测试的时候,发现OpenVC 3.4.2版本报错,没有找到原因,就选用了下面的版本
# Uncomment the next line to define a global platform for your project
platform :ios, '8.0'
target 'RecognitionDemo' do
# Uncomment the next line if you're using Swift or would like to use dynamic frameworks
# use_frameworks!
# Pods for RecognitionDemo
target 'RecognitionDemoTests' do
inherit! :search_paths
# Pods for testing
end
target 'RecognitionDemoUITests' do
inherit! :search_paths
# Pods for testing
end
pod 'OpenCV', '~>3.1.0.1'
pod 'TesseractOCRiOS', '~> 4.0.0'
end
导入完成之后运行项目，会发现报如下错误
B9E33B0C-157C-4F00-AC7E-CBB1538D074E.png
由于导入的库不支持Bitcode机制，需要关掉，在工程->TARGETS->Build Setting-> Enable Bitcode设置为NO就ok。
9129BA5F-16F4-43C7-94AD-69C1F460A78C.png
导入TesseractOCRiOS需要的语言包
TesseractOCRiOS库中没有自带的语言包，需要我们自己手动导入，我们这里直接到tesseract-ocr网站，tessdata即是我们需要用到的语言包。下载下来的语言包有400多兆。这里我们只需要用到英语语言包，所以就只导入eng.traineddata就ok，其他的都删掉。
导入语言包种需要注意几点：
语言包需要放在tessdata目录下。TesseractOCRiOS中查找语言包是在tessdata目录下进行查找的，所以我们不能单独把eng.traineddata导入项目中，而需要放在tessdata目录下导入项目中。
将tessdata导入xcode项目，需要勾选Create folder refrences。上面已经提到了语言包需要放在tessdata目录下，所以导入文件到xcode的时候需要创建文件夹的形式，而不是创建组的形式
03A3D80E-B3E6-4E91-AF00-AFE2666EE404.png
代码实现:
导入下面框架
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import <TesseractOCR/TesseractOCR.h>
灰度处理
+ (void)grayscaleWithImg:(UIImage *)image callback:(void(^)(UIImage *image))callback
{
dispatch_async(dispatch_get_main_queue(), ^{
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
if (callback) {
callback(MatToUIImage(resultImage));
}
});
}
二值化
+ (void)binarizationWithImg:(UIImage *)image callback:(void(^)(UIImage *image))callback
{
dispatch_async(dispatch_get_main_queue(), ^{
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
if (callback) {
callback(MatToUIImage(resultImage));
}
});
}
腐蚀,填充
+ (void)corrodeWithImg:(UIImage *)image callback:(void(^)(UIImage *image))callback
{
dispatch_async(dispatch_get_main_queue(), ^{
//将UIImage转换成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蚀，填充（腐蚀是让黑色点变大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
if (callback) {
callback(MatToUIImage(resultImage));
}
});
}
轮廓检测
+ (void)outlineWithImg:(UIImage *)image callback:(void(^)(UIImage *image))callback
{
dispatch_async(dispatch_get_main_queue(), ^{
//将UIImage转换成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蚀，填充（腐蚀是让黑色点变大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//轮廊检测
std::vector<std::vector<cv::Point>> contours;//定义一个容器来存储所有检测到的轮廊
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
cv::drawContours(resultImage, contours, -1, cv::Scalar(255),4);
if (callback) {
callback(MatToUIImage(resultImage));
}
});
}
获取所以矩形区域
+ (void)getImgsWithImg:(UIImage *)image callback:(void(^)(NSArray<UIImage *> *images))callback
{
dispatch_async(dispatch_get_main_queue(), ^{
//将UIImage转换成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蚀，填充（腐蚀是让黑色点变大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//轮廊检测
std::vector<std::vector<cv::Point>> contours;//定义一个容器来存储所有检测到的轮廊
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
cv::drawContours(resultImage, contours, -1, cv::Scalar(255),4);
//取出身份证号码区域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
NSMutableArray *imageArr = [NSMutableArray array];
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);
//算法原理
numberRect = rect;
//身份证号码定位失败
if (numberRect.width != 0 && numberRect.height != 0) {
//定位成功成功，去原图截取身份证号码区域，并转换成灰度图、进行二值化处理
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//将Mat转换成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
[imageArr addObject:numberImage];
}
}
if (callback) {
callback(imageArr);
}
});
}
获取身份证号码
//扫描身份证图片，并进行预处理，定位号码区域图片并返回
- (UIImage *)opencvScanCard:(UIImage *)image {
//将UIImage转换成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蚀，填充（腐蚀是让黑色点变大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//轮廊检测
std::vector<std::vector<cv::Point>> contours;//定义一个容器来存储所有检测到的轮廊
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份证号码区域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);
//算法原理
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//身份证号码定位失败
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//定位成功成功，去原图截取身份证号码区域，并转换成灰度图、进行二值化处理
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//将Mat转换成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
图像转文字
+ (void)tesseractRecognizeImage:(UIImage *)image callback:(void(^)(NSString *text))callback
{
dispatch_async(dispatch_get_main_queue(), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"chi_sim"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
//执行回调
callback(tesseract.recognizedText);
});
}
