AVFoundation 实现人脸识别

接着之前的视频采集之后今天聊下人脸识别，现在很多拍摄工具中的美颜，激萌效果等都需要用到人脸识别。人脸识别的方案有CoreImage、 face++、OpenCV、libefacedetection、AV Foundation、vision 等，本文主要聊下AVFoundation 在视频拍摄中对人脸的捕捉。

大体流程如下

AVCaptureSessin 设置AVCaptureMetadataOutput 捕获元数据输出
设置元数据类型为 AVMetadataObjectTypeFace
setMetadataObjectsDelegate 设置回调代理
didOutputMetadataObjects 回调中让人脸信息传给AVCaptureVideoPreviewLayer
AVCaptureVideoPreviewLayer 上显示对应的人脸信息

1.AVCaptureSessin 设置AVCaptureMetadataOutput

这里要注意人脸检测要使用到硬件加速所以要放到主线程中

    // AVCaptureMetadataOutput 用于处理捕获会话AVCaptureSession产生的定时元数据的捕获输出。
    self.metadataOutput = [[AVCaptureMetadataOutput alloc]init];
    if ([self.captureSession canAddOutput:self.metadataOutput]) {
        [self.captureSession addOutput:self.metadataOutput];
        
        // 获取人脸 属性  也可以是二维码 条形码等
        NSArray *metadatObjectTypes = @[AVMetadataObjectTypeFace];
         //设置metadataObjectTypes 指定对象输出的元数据类型。
         self.metadataOutput.metadataObjectTypes = metadatObjectTypes;
           //创建主队列： 因为人脸检测用到了硬件加速，而且许多重要的任务都在主线程中执行，所以需要为这次参数指定主队列。
           dispatch_queue_t mainQueue = dispatch_get_main_queue();
           //通过设置AVCaptureVideoDataOutput的代理，就能获取捕获到一帧一帧数据
        [self.metadataOutput setMetadataObjectsDelegate:self queue:mainQueue];
  
    }

2.AVCaptureMetadataOutputObjectsDelegate 捕捉代理回调
将捕捉的人脸信息传给显示的层的layer（这里是只做人脸的一个框选，其他功能跟脸部信息有关的实现也都可在这个回调中）

- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputMetadataObjects:(NSArray *)metadataObjects
       fromConnection:(AVCaptureConnection *)connection {

    NSLog(@"有输出的");
    //使用循环，打印人脸数据
    for (AVMetadataFaceObject *face in metadataObjects) {
        
        NSLog(@"Face detected with ID:%li",(long)face.faceID);
        NSLog(@"Face detected with rollAngle:%f",face.rollAngle);
        NSLog(@"Face detected with yawAngle:%f",face.yawAngle);
        NSLog(@"Face bounds:%@",NSStringFromCGRect(face.bounds));
        
    }
    
    //将元数据 传递给 previewView.m   将元数据转换为layer
    [self.PreView didDetectFaces:metadataObjects];

}

3.AVCaptureVideoPreviewLayer 人脸信息的渲染

这里涉及到3个点 1.人脸位置跟layer上位置的转化transformedMetadataObjectForMetadataObject：这里跟上一篇中的摄像头聚焦时候的位置转化很像 2.人脸的rollAngle 和 yawAngle 转化成对应的angle（角度） 3.这里的faceID对于同一个人并不是唯一的，但如果是一直在采集中没有出过采集框就是唯一的

- (void)didDetectFaces:(NSArray *)faces{
   //创建一个本地数组 保存转换后的人脸数据
    NSArray *transformedFaces = [self transformedFacesFromFaces:faces];
       //获取faceLayers的key，用于确定哪些人移除了视图并将对应的图层移出界面。
    /*
        支持同时识别10个人脸
     */
    NSMutableArray *lostFaces = [self.faceLayers.allKeys mutableCopy];
      //遍历每个转换的人脸对象
    for (AVMetadataFaceObject *face in transformedFaces) {
         //获取关联的faceID。这个属性唯一标识一个检测到的人脸
        NSNumber *faceID = @(face.faceID);
         //将对象从lostFaces 移除
        [lostFaces removeObject:faceID];
          //拿到当前faceID对应的layer
        CALayer *layer = self.faceLayers[faceID];
          //如果给定的faceID 没有找到对应的图层
        if (!layer) {
             //调用makeFaceLayer 创建一个新的人脸图层
            layer = [self makeFaceLayerWith:face.bounds.size];
             //将新的人脸图层添加到 overlayLayer上
            [self.overlayLayer addSublayer:layer];
              //将layer加入到字典中
            self.faceLayers[faceID] = layer;
         }
        
        //设置图层的transform属性 CATransform3DIdentity 图层默认变化 这样可以重新设置之前应用的变化
        layer.transform = CATransform3DIdentity;
          //图层的大小 = 人脸的大小
        layer.frame = face.bounds;
         //判断人脸对象是否具有有效的斜倾交。 头部向肩膀方向的侧斜角度
        if (face.hasRollAngle) {
              //如果为YES,则获取相应的CATransform3D 值
            CATransform3D t = [self transformForRollAngle:face.rollAngle];
               //将它与标识变化关联在一起，并设置transform属性
            layer.transform = CATransform3DConcat(layer.transform, t);
        }
           //判断人脸对象是否具有有效的偏转角 人脸绕y轴旋转的角度
        if (face.hasYawAngle) {
              //如果为YES,则获取相应的CATransform3D 值
            CATransform3D  t = [self transformForYawAngle:face.yawAngle];
            layer.transform = CATransform3DConcat(layer.transform, t);
            
        }
    }
    //遍历数组将剩下的人脸ID集合从上一个图层和faceLayers字典中移除
    for (NSNumber *faceID in lostFaces) {
        CALayer *layer = self.faceLayers[faceID];
        [layer removeFromSuperlayer];
        [self.faceLayers  removeObjectForKey:faceID];
    }
    
}

按照这个思路就可以看到人脸的标记了，这里要涉及到最基础的视频采集可以看上一篇 AVFoundation 视频拍摄
人脸信息拿出来之后可以做很多事情，比如人脸数据匹配，活体检测，激萌效果等等。对应代码也上传的git上 AVFoundation 人脸识别