OpenCV iOS - 视频处理

这个章节解释了使用iPhone的摄像头和Opencv来进行视频处理。

预准备

  • Xcode 4.3 或更高
  • iOS开发的基础知识(Objective-C, Interface Builder)

导入Opencv库到iOS工程

Opencv库作为被调用的框架,你可以直接拖拽到你的工程中。从这里下载最新的库。或者按照iOS安装指南来编译框架。一旦你有了framework,直接拖拽到Xcode:


你也需要找到工程中的预编译文件。这个文件通常在"ProjectName/Supporting Files/ProjectName-Prefix.pch"。在这你需要增加一个包含语句去导入Opencv库。然而,确保你包含Opencv在包含UIKit和Foundation之前,因为你发现像最大值和最小值的宏定义的被定义多次的编译错误。例如前缀可能如下所示:

//
// Prefix header for all source files of the 'VideoFilters' target in the 'VideoFilters' project
//

#import <Availability.h>

#ifndef __IPHONE_4_0
#warning "This project uses features only available in iOS SDK 4.0 and later."
#endif

#ifdef __cplusplus
#import <opencv2/opencv.hpp>
#endif

#ifdef __OBJC__
#import <UIKit/UIKit.h>
#import <Foundation/Foundation.h>
#endif

Example video frame processing project

User Interface

首先,我们创建一个简单的iOS工程,例如Single View Application。然后,我们创建并且添加一个UIImageView和UIButton去启动摄像头和显示视频帧。故事版可以像这样:



请务必将IBOutlets和 IBActions连接到相应的ViewController。

@interface ViewController : UIViewController
{
    IBOutlet UIImageView* imageView;
    IBOutlet UIButton* button;
}

- (IBAction)actionStart:(id)sender;

@end

Adding the Camera

我们添加一个Camera控制器到一个页面控制器并且在页面被load时初始化:

#import <opencv2/highgui/cap_ios.h>
using namespace cv;

@interface ViewController : UIViewController
{
    ...
    CvVideoCamera* videoCamera;
}
...
@property (nonatomic, retain) CvVideoCamera* videoCamera;

@end
- (void)viewDidLoad
{
    [super viewDidLoad];
    // Do any additional setup after loading the view, typically from a nib.
    
    self.videoCamera = [[CvVideoCamera alloc] initWithParentView:imageView];
    self.videoCamera.defaultAVCaptureDevicePosition = AVCaptureDevicePositionFront;
    self.videoCamera.defaultAVCaptureSessionPreset = AVCaptureSessionPreset352x288;
    self.videoCamera.defaultAVCaptureVideoOrientation = AVCaptureVideoOrientationPortrait;
    self.videoCamera.defaultFPS = 30;
    self.videoCamera.grayscale = NO;
}

在这种情况下,我们初始化相机并且把imageView作为渲染每帧的显示。CvVideoCamera是基于'AVFoundion'包装的,所以我们能提供AVFoundation摄像头选择属性。例如我们想要使用前置摄像头,设置视频大小为352x288和视频方向(摄像头通常是横向输出,当你做一个竖向的应用时会导致数据错位)

设置defaultFPS设置为摄像机的FPS, 如果处理少于预期的FPS,帧被自动丢弃。

属性grayscale=YES使用不同的颜色空间,即 “YUV (YpCbCr 4:2:0)”,而grayscale=NO将输出32位BGRA。

此外,我们必须手动添加Opencv库的依赖库。最后,你在你的工程中至少有下面的框架:

  • opencv2
  • Accelerate
  • AssetsLibrary
  • AVFoundation
  • CoreGraphics
  • CoreImage
  • CoreMedia
  • CoreVideo
  • QuartzCore
  • UIKit
  • Foundation

Processing frames

我们遵循代理模式,这在iOS中十分普遍,提供访问每个摄像帧的权限。基本上, 视图控制器必须实现CvVideoCameraDelegate协议并且设置为视频摄像头的代理:

@interface ViewController : UIViewController<CvVideoCameraDelegate>
- (void)viewDidLoad
{
    ...
    self.videoCamera = [[CvVideoCamera alloc] initWithParentView:imageView];
    self.videoCamera.delegate = self;
    ...
}
#pragma mark - Protocol CvVideoCameraDelegate

#ifdef __cplusplus
- (void)processImage:(Mat&)image;
{
    // Do some OpenCV stuff with the image
}
#endif

请注意我们在这里使用了C++(cv::Mat)。重要提醒:你必须能重命名视图控制器的后缀.m.mm,以便能在Objective-C++ (Objective-C与 C++ 混编)下编译成功。 然后,当编译器处理C++代码文件时__cplusplus被定义。因此__cplusplus在哪里被定义我们代码就放在哪个代码块里。

Basic video processing

从这你能开始处理视频帧了。例如下面代码片的图片颜色翻转:

- (void)processImage:(Mat&)image;
{
    // Do some OpenCV stuff with the image
    Mat image_copy;
    cvtColor(image, image_copy, CV_BGRA2BGR);
    
    // invert image
    bitwise_not(image_copy, image_copy);
    cvtColor(image_copy, image, CV_BGR2BGRA);
}

开始

最后,我们必须告诉摄像机准确的start/stop工作。接下来的代码当你按下button时启动摄像头,假设你正确的连接用户界面:

#pragma mark - UI Actions

- (IBAction)actionStart:(id)sender;
{
    [self.videoCamera start];
}

Hints

尽可能的避免昂贵的矩阵复制操作,尤其你的目标是实时处理。如果可能,尽可能的就地处理数据。
当你工作在灰度数据时,一次设置grayscale = YES作为YUV颜色空间来让你直接访问亮度平面。

Accelerate框架提供了一些CPU加速的DSP滤波器,这可以让你更得心应手。

原文地址:OpenCV iOS - Video Processing

推荐阅读更多精彩内容