×

在Android Studio中实现OpenCV人脸检测

96
yangli8140
2017.10.17 14:50* 字数 860

实习期间,由于公司项目需求学习了OpenCV,主要实现人脸检测和人脸识别。因个人在C++和NDK方面的能力欠缺,所以考虑利用OpenCV Java API实现项目需求,虽然学习和研究过程中遇到了不少问题,但最终还是成功了。

OpenCV介绍

OpenCV,即开源计算机视觉库,主要用作图像处理,具体官方网站有详细介绍。

OpenCV环境搭建

1.下载SDK
OpenCV 3.3.0 Android SDK 下载地址:
https://sourceforge.net/projects/opencvlibrary/files/opencv-android/3.3.0/opencv-3.3.0-android-sdk.zip/download
2.项目配置
新建项目后,第一步,引入openCVLibrary330模块,并添加依赖。

Import Module.PNG

若由于Android SDK Platform版本差异报错,则参考项目app下的build.gradle修改openCVLibrary330下的build.gradle。

报错.PNG
openCVLibrary330(左)和app(右)的build.gradle.PNG

第二步,新建jniLibs文件夹,添加OpenCV库对应的so文件,这里我只添加了armeabi-v7a。

jniLibs和arm-v7包.PNG

第三步,创建人脸特征文件(xml)的raw资源文件夹,并添加特征文件。

raw资源.PNG

注:以上文件在OpenCV 3.3.0 Android SDK包中的路径如下。

OpenCV库:OpenCV-android-sdk\sdk\java
so文件:OpenCV-android-sdk\sdk\native\libs
人脸特征文件:OpenCV-android-sdk\sdk\etc\lbpcascades

人脸检测的实现

使用OpenCV实现人脸检测主要用到两个类:CascadeClassifier和CameraBridgeViewBase。
首先是CascadeClassifier(级联分类器),用于根据特征文件(xml)检测人脸,因此在检测前必须先初始化它,检测函数为detectMultiScale(),会在检测时使用。

 // 初始化人脸级联分类器,必须先初始化
private void initClassifier() {
    try {
        InputStream is = getResources()
                .openRawResource(R.raw.lbpcascade_frontalface);
        File cascadeDir = getDir("cascade", Context.MODE_PRIVATE);
        File cascadeFile = new File(cascadeDir, "lbpcascade_frontalface.xml");
        FileOutputStream os = new FileOutputStream(cascadeFile);
        byte[] buffer = new byte[4096];
        int bytesRead;
        while ((bytesRead = is.read(buffer)) != -1) {
            os.write(buffer, 0, bytesRead);
        }
        is.close();
        os.close();
        classifier = new CascadeClassifier(cascadeFile.getAbsolutePath());
    } catch (Exception e) {
        e.printStackTrace();
    }
}

然后是CameraBridgeViewBase,它是JavaCameraView(布局中使用)的抽象基类,用于调用手机摄像机,同时提供了摄像机的监听方法,所以只要实现了CvCameraViewListener2接口,在onCameraViewStarted()、onCameraViewStopped()、onCameraFrame()这三个方法中就可以处理摄像机的开始、停止和每一帧拍摄的图像。
这里重点说明一下onCameraFrame(CvCameraViewFrame inputFrame),通过参数inputFrame我们可以获取每一帧图像的灰度矩阵和彩色矩阵,并根据灰度矩阵利用CascadeClassifier的detectMultiScale()方法检测出人脸区域,再将检测结果标记到图像的彩色矩阵上,最终作为返回结果输出到屏幕上从而实现人脸检测。

@Override
public void onCameraViewStarted(int width, int height) {
    mGray = new Mat();
    mRgba = new Mat();
}

@Override
public void onCameraViewStopped() {
    mGray.release();
    mRgba.release();
}

@Override
// 这里执行人脸检测的逻辑, 根据OpenCV提供的例子实现(face-detection)
public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) {
    mRgba = inputFrame.rgba();
    mGray = inputFrame.gray();
    // 翻转矩阵以适配前后置摄像头
    if (isFrontCamera) {
        Core.flip(mRgba, mRgba, 1);
        Core.flip(mGray, mGray, 1);
    } else {
        Core.flip(mRgba, mRgba, -1);
        Core.flip(mGray, mGray, -1);
    }
    float mRelativeFaceSize = 0.2f;
    if (mAbsoluteFaceSize == 0) {
        int height = mGray.rows();
        if (Math.round(height * mRelativeFaceSize) > 0) {
            mAbsoluteFaceSize = Math.round(height * mRelativeFaceSize);
        }
    }
    MatOfRect faces = new MatOfRect();
    if (classifier != null)
        classifier.detectMultiScale(mGray, faces, 1.1, 2, 2,
                new Size(mAbsoluteFaceSize, mAbsoluteFaceSize), new Size());
    Rect[] facesArray = faces.toArray();
    Scalar faceRectColor = new Scalar(0, 255, 0, 255);
    for (Rect faceRect : facesArray)
        Imgproc.rectangle(mRgba, faceRect.tl(), faceRect.br(), faceRectColor, 3);
    return mRgba;
}

最后说一下使用过程中的一些注意事项(坑):
1.使用OpenCV库之前,必须先加载对应的so文件,当然这样也是为了应用无需依赖OpenCV Manager。

// 手动装载openCV库文件,以保证手机无需安装OpenCV Manager
static {
    System.loadLibrary("opencv_java3");
}

2.必须设置横屏,竖屏下无法检测,这个问题目前没有解决。

setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);

3.摄像机拍摄图像的镜像问题,利用Core.flip(Mat src, Mat dst, int flipCode)函数,src和dst参数是输入和输出矩阵,filpCode有三种情况,0为绕X轴翻转,大于的0代表绕Y轴翻转,-1代表既绕X轴也绕Y轴翻转。(参考:http://blog.csdn.net/wunghao8/article/details/38868281)

检测效果图

后置摄像.png
前置摄像.png

人脸匹配的实现

由于不是本文重点,只说一下我的实现原理:图像的灰度匹配,但这种匹配方法存在一定的错误率,效果不是太好。完整的人脸检测和匹配的项目FaceDetector在我的Github上也有,感兴趣的可以查看一下。

源码地址

https://github.com/typer9527/FaceDetectDemo

android
Web note ad 1