Android Camera 架构(App-Framework-HAL)

工作两年了, 工作内容和Camera相关的居多, 所以有必要对Android Camera流程进行深入了解, 提高自己阅读源码能力以及对Android系统架构的理解. 本文主要会讲Android系统中, App打开Camera这一过程中, 到Framework以及HAL层的完整流程, 以及涉及的相关代码路径.

注: 本文流程为Camera API1到HAL1, 代码以及路径都基于高通平台Android 7.1源码, API2到HAL3大体流程和HAL1相近, 但API方面差异很大, 后续再补上.

总览

先通过我自己画的一张图片, 来看下App从调用Camera.open()到HAL层的流程.

Camera_Flow.jpg

温馨提示: 图片太大, 请通过查看原图来进行浏览

源码位置以及所属模块

frameworks/base/core/java/android/hardware/Camera.java
Camera.java为App直接调用的接口, 编译为framework.jar

frameworks/base/core/jni/android_hardware_Camera.cpp
此部分为Java调用的JNI native部分代码, 编译为动态库 libandroid_runtime.so

frameworks/av/camera/Camera.cpp
frameworks/av/camera/CameraBase.cpp
App连接到CameraService部分的Client, 编译为动态库 libcamera_client

frameworks/av/services/camera/libcameraservice/CameraService.cpp
frameworks/av/services/camera/libcameraservice/CameraService.h
这个就是CameraService的代码了, App通过Binder来连接, 后面会详细讲一下连接过程比较难理解的地方, 编译为动态库 libcameraservice.so

frameworks/av/services/camera/libcameraservice/api1/CameraClient.cpp
这部分就是CameraService端的Client, 用于调用HAL层的接口, 编译后同样在 libcameraservice.so 中.

frameworks/av/services/camera/libcameraservice/device1/CameraHardwareInterface.h
Google定义的HAL接口, 由芯片厂商去实现, 以上代码是Google写的Android系统代码, HAL层及以下则是芯片厂商写的代码,

hardware/qcom/camera/QCamera2/HAL/QCamera2Factory.cpp
高通平台特有代码, 用于创建不同HAL版本的实例, 编译为动态库 camera.xxx.so, xxx代表平台, 比如msm8953则编译为 camera.msm8953.so

hardware/qcom/camera/QCamera2/HAL/QCamera2HWI.cpp
高通HAL的实现代码, 即QCamera2HardwareInterface的缩写, 上图中的QCamera2HardwareInterface.cpp应该为QCamera2HWI.cpp, 由于visio画的图源文件弄丢了, 所以没法改, 但要注意, QCamera2HWI.cpp中定义的类名就是QCamera2HardwareInterface, 此部分代码同样是编译到动态库 camera.xxx.so 中.

hardware/qcom/camera/QCamera2/stack/mm-camera-interface/src/mm_camera_interface.c
高通mm-camera接口, HAL层再往下就是和驱动相关的mm-camera了

vendor/qcom/proprietary/mm-camera/mm-camera2/
高通mm-camera部分代码, 由于我不是做驱动相关的, 对这部分不熟, 就不介绍了, mm-camera往下就是kernel部分了,就相当于到了Android最底层.

hardware/libhardware/hardware.c
此部分代码用来加载Camera的HAL层动态库, 加载之前首先会在几个列出的路径下选择对应的so库, 找到后通过dlopen进行调用, 得到相关的句柄.

注意点

上面流程中, 有如下几个点需要注意:

获取CameraModule的流程

在上图中, CameraService.h中, makeClient()过后, 会调用 CameraClientinitialize(CameraModule *module)函数, 其中CameraModule实例化则需要camera_module_t *rawModuel作为参数, rawModule则是通过dlopen()方式和HAL层的动态库关联起来(camera.xxx.so), 因此HAL层和CameraService实际是通过dlopen()方式建立联系的, 注意, 上面讲的实例化CameraModuel流程是在开机的时候进行的, 上面的图片中流程中onFirstRef()就是在开机时候调用的.

Client和Service连接过程

Client和Service连接过程是我个人认为整个流程中最难理解的部分, 之所以难, 是因为对C++方式实现进程间通信流程不熟悉造成了, 下面就来看下连接过程:

1.首先在Camera.cpp中调用CameraBase.cpp的connect()函数

sp<Camera> Camera::connect(int cameraId, const String16& clientPackageName,
        int clientUid, int clientPid)
{
    return CameraBaseT::connect(cameraId, clientPackageName, clientUid, clientPid);
}

2.CameraBase.cpp connect()代码

template <typename TCam, typename TCamTraits>
sp<TCam> CameraBase<TCam, TCamTraits>::connect(int cameraId,
                                               const String16& clientPackageName,
                                               int clientUid, int clientPid)
{
    ALOGV("%s: connect", __FUNCTION__);
    sp<TCam> c = new TCam(cameraId);
    sp<TCamCallbacks> cl = c;
    const sp<::android::hardware::ICameraService>& cs = getCameraService();

    binder::Status ret;
    if (cs != nullptr) {
        TCamConnectService fnConnectService = TCamTraits::fnConnectService;
        ret = (cs.get()->*fnConnectService)(cl, cameraId, clientPackageName, clientUid,
                                               clientPid, /*out*/ &c->mCamera);
    }
    if (ret.isOk() && c->mCamera != nullptr) {
        IInterface::asBinder(c->mCamera)->linkToDeath(c);
        c->mStatus = NO_ERROR;
    } else {
        ALOGW("An error occurred while connecting to camera %d: %s", cameraId,
                (cs != nullptr) ? "Service not available" : ret.toString8().string());
        c.clear();
    }
    return c;
}

此部分代码中要注意两点:
1). TCamTraits::fnConnectService就是ICameraService类中的connect()函数的函数指针, 因为在Camera.cpp中, 其定义如下:

CameraTraits<Camera>::TCamConnectService CameraTraits<Camera>::fnConnectService =
        &::android::hardware::ICameraService::connect;

所以(cs.get()->*fnConnectService)(....)就是在调用CameraService的connect()函数,
这部分调用也是通过Binder进行的, 流程图如下:

Camera Connect 过程

上面connect过程使用的Binder接口是ICameraService, Connect过程是为了得到ICamera在Client端的BpCamera实例, ICamera接口定义的方法才是具体对Camera进行操作的.

需要特别注意的是, 在Android 7.1的源码中你是找不到ICameraService.cpp源码的, 但在Android 4.4.4中是存在的(framework/av/camera/下面), 这是因为Android 7.1中通过定义了ICameraService.aidl后, 编译过程中会自动生成ICameraService.cpp文件, 生成的文件在Android编译的out目录下:

out/target/product/xxx/obj/SHARED_LIBRARIES/libcamera_client_intermediates/aidl-generated/src/aidl/android/hardware/ICameraService.cpp

注: xxx表示你lunch时选择的product

2). 经过第一步连接过后, 得到了一个ICamera对象指针 mCamera(实际代表BpCamera, 即客户端的接口), 后续我们调用Camera的其他方法, 比如startPreview(), 都是通过mCamera进行调用的.

Client和Service调用流程

connect完成后, 后续对camera的调用也是通过Binder进行, 接口定义在ICamera.h, 调用流程和第一步连接的过程一致, 就是Android IPC的基本操作 简而言之 就是 Camera.cpp -> ICamera.cpp(BpCamera) -> ICamera.cpp(BnCamera) -> CameraClient.cpp

这里需要注意的是, CameraClient.cpp是继承自BnCamera的, 这也是为什么在CameraService中的connect()函数中, 可以直接将CameraClient赋值给ICamera
一些继承关系如下:

//BnInterface<ICamera> 继承自 ICamera BBinder
template<typename INTERFACE>
class BnInterface : public INTERFACE, public BBinder
// BnCamera 继承自 BnInterface<ICamera>
class BnCamera: public BnInterface<ICamera>
// CameraService.h 中, Client继承自BnCamera
 class Client : public hardware::BnCamera, public BasicClient {...};
// CameraClient.h 中, CameraClient继承自Client
class CameraClient : public CameraService::Client {...};

可以看出 CameraClientICamera 的子类

Status CameraService::connect(
        const sp<ICameraClient>& cameraClient,
        int cameraId,
        const String16& clientPackageName,
        int clientUid,
        int clientPid,
        /*out*/
        sp<ICamera>* device) {
    //部分代码省略
    sp<Client> client = nullptr;
    ret = connectHelper<ICameraClient,Client>(cameraClient, id,
            CAMERA_HAL_API_VERSION_UNSPECIFIED, clientPackageName, clientUid, clientPid, API_1,
            /*legacyMode*/ false, /*shimUpdateOnly*/ false,
            /*out*/client);
    //部分代码省略
    /*client代表BnCamera, BpCamera中通过transact调到BnCamera,
       然后再调用Client中定义的方法  */
    *device = client;
    return ret;
}

可以看到, 整个过程中主要涉及到两个Binder接口, ICameraICameraService, ICamera中的接口用于控制Camera具体操作, 比如设置参数, 打开/关闭预览等等, 而ICameraService中的接口负责连接Camera, 查询Camera信息(getNumberOfCameras() getCameraInfo()).

CameraService启动

上面的流程没有说明CameraService是怎么启动的, 我们都知道Android系统的服务都是通过init.rc启动的, CameraService也不例外, 相关代码路径如下:
frameworks/av/camera/cameraserver/
路径下有个cameraserver.rc, 内容如下:

service cameraserver /system/bin/cameraserver
class main
user cameraserver
group audio camera input drmrpc
ioprio rt 4
writepid /dev/cpuset/camera-daemon/tasks /dev/stune/top-app/tasks

可见启动的是可执行文件cameraserver, 这部分代码就在main_cameraserver.cpp

int main(int argc __unused, char** argv __unused)
{
    signal(SIGPIPE, SIG_IGN);
    sp<ProcessState> proc(ProcessState::self());
    sp<IServiceManager> sm = defaultServiceManager();
    ALOGI("ServiceManager: %p", sm.get());
    CameraService::instantiate();
    ProcessState::self()->startThreadPool();
    IPCThreadState::self()->joinThreadPool();
}

很简单, 就是通过系统接口添加一个Service

整体架构总结

从上面分析流程可以看出, Camera的整体代码分为一下几个部分:

  1. Java API, 提供给App调用的接口
  2. JNI, 因为底层和硬件打交道的都是C/C++, 所以JNI必不可少
  3. Camera Client, 此Client通过Binder连接到CameraService
  4. CameraService, 独立的进程, 单独存在, 开机就会启动
  5. CameraService 端的Client, 此Client中通过 CameraHardwareInterface 调用到HAL层
  6. HAL层, 芯片厂实现的部分代码
  7. 驱动部分, 包含芯片厂的一些代码和kernel代码

其中流程中容易让人产生疑问的还是Binder调用这部分, 要想加深对这部分的理解, 可以自己动手写个C++ 实现的 Native Service, 可以参考我写的一篇文章: C++实现Native Service并跨进程调用

Android中还有很多类似的硬件都是用的这样的架构, 基本是 Java -> JNI -> Service -> HAL -> 驱动, 在阅读源码过程中, 对流程有疑问的时候, 最好的方法是在关键函数打印一些Log, 实际跑下流程, 看看整体架构的调用流程, 了解大体流程后, 根据需要再去抠一些细节, 这样效率会高一些.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容