一、图像的基本知识

1. 色彩空间（Color space）又称 色域

“色彩空间”一词源于西方的“Color Space”，又称作“色域”，色彩学中，人们建立了多种色彩模型，以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色彩空间。我们经常用到的色彩空间主要有RGB、CMYK、Lab等。

色彩模型 是通过一组数值来描述颜色的一种抽象数学模型。（ 例如：通常 三原色光模式（ RGB ）使用三元组、印刷四分色模式 （ CMYK ）使用四元组）

Lab模式 是由国际照明委员会（CIE）于1976年公布的一种色彩模式。

RGB模式 是一种发光屏幕的加色模式，CMYK模式是一种颜色反光的印刷减色模式。而Lab模式既不依赖光线，也不依赖于颜料，它是CIE组织确定的一个理论上包括了人眼可以看见的所有色彩的色彩模式，弥补了RGB和CMYK两种色彩模式的不足。从Lab的通道可以看出，这种色彩混合后将产出明亮的色彩。

clipboard.png

在表达⾊彩范围上，色彩数量的比较：Lab > RGB > CMYK ，也就是说Lab模式所定义的⾊彩最多，且与光线及设备⽆关，并且处理速度与RGB模式同样快，⽐CMYK模式快数倍。

2. 常见的色彩模型(图像存储格式)

2.1 RGB模型 又称 加色混色模型

RGB 模型 是常用的一种彩色信息表达方式，它使用 红、绿、蓝 三原色 的亮度来定量表示颜色。

RGB模型 的空间是个单位正方体。立方体内的各点对应不同的颜色，可以用从原点各点对应不同的颜色，可以从原点到该点的矢量表示，三个坐标值分别为红、绿、蓝三色的比例。在数字系统中这个单位空间被离散化，通常每个分量都用 8位 整数表示，这样每个像素需要 24位 表示。

三原色	RGB色彩模型

加法三原色	减法三原色

RGB模型 --- 色域 （ sRGB 、Adobe RGB 、CMYK ）

RGB模型-色域

RGB模型 --- 内部排布
常见的RGB格式 ：RGBA32 、BGRA32 、RGB24

rgb内部排布.png

2.2 YUV 模型

YUV色彩模型 利用人类视觉对亮度的敏感度比对色度的敏感度高的特点获得较RGB色彩模型的优势，为彩色电视系统广泛使用。YUV色彩模型将亮度信息从色度信息中分离了出来，并且对同一帧图像的亮度和色度采用了不同的采样率。在YUV色彩模型中，亮度信息Y与色度信息U\V相互独立。Y信号分量为黑白灰度图。U、V信号分量为单色彩色图。与我们熟知的RGB类似，YUV也是一种颜色编码方法，主要用于电视系统以及模拟视频领域，它将亮度信息（Y）与色彩信息（UV）分离，没有UV信息一样可以显示完整的图像，只不过是黑白的，这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且，YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV方式传送占用极少的频宽。

YUV色彩模型

YUV格式有两大类：planar 和 packed
对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V。对于packed的YUV格式，每个像素点的Y,U,V是连续交叉存储的。

YUV，分为三个分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。

常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等，其中比较常见的YUV420分为两种：YUV420P和YUV420SP。

YUV常用的采样格式有：YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和YCbCr 4:4:4。
YUV的表示法称为A:B:C表示法：
4:4:4表示完全取样，每一个Y对应一组UV分量,一个YUV占8+8+8 = 24bits 3个字节，24bit⼀个像素
4:2:2表示2:1的⽔平取样，垂直完全采样，每两个Y共用一组UV分量,一个YUV占8+4+4 = 16bits 2个字节
4:2:0表示2:1的⽔平取样，垂直2：1采样，12bit⼀个像素
4:1:1表示4:1的⽔平取样，垂直完全采样，12bit⼀个像素
这里就不细讲各个采样方式啦。

YUV模型 --- 色域 （ 不同的标准 ：YIQ 、PAL 、YCbCr ）

yuv模型色域

二、采集

音视频采集主要依赖视频、音频硬件采集设备。
视频采集图像传感器（CCD或CMOS等），用于图像采集和处理的过程，把图像转换成电信号。
拾音器、麦克风（声音传感器），用于声音采集和处理的过程，把声音转换成电信号。

接下来我会继续总结几篇文章来具体说明下采集的相关知识。

2.1 物理采集

物理采集设备 ：USB摄像头 、SOC摄像头 、采集卡

SOC摄像头结构	图像传感器（CCD 、CMOS ）

图像传感器的比较

术语说明

数码变焦
数码变焦是在感光器件垂直方向向上的变化，而给人以变焦效果的。在感光器件上的面积越小，那么视觉上就会让用户只看见景物的局部。但是由于焦距没有变化，所以，图像质量是相对于正常情况下较差（除pureview技术外）

前置摄像头数码变焦.png

光学变焦
光学变焦是通过镜头、物体和焦点三方的位置发生变化而产生的。当成像面在水平方向运动的时候，视觉和焦距就会发生变化，更远的景物变得更清晰，让人感觉像物体递进的感觉。

光学变焦.png

焦距
焦距也称为焦长，是光学系统中衡光的聚集或发散的度量方式，指从透镜中心到光聚集之焦点的距离。亦是照相机中，从镜片光学中心到底片、CCD或CMOS等成像平面的距离。其实，把“焦距”换⼀个词，大家就对其完全理解了——“视野范围”。所以，短焦距镜头视野范围大，也叫做广角镜头；长焦距镜头视觉范围小；标准焦距镜头的视觉范围就如同我们的眼睛所见⼀般。

焦距.png

对焦
对焦也叫对光、聚焦。通过照相机对焦机构变动物距和相距的位置，使被拍物成像清晰的过程就是对焦。

延迟（采集延迟 、整体延迟）
整体延迟：采集到渲染看到图像的时间。

2.2 软件采集

软件采集是通过软件采集的方式进行采集视频数据，常见的有屏幕采集。
屏幕采集
Android MediaProjection
Android 5.0版本之后，⽀持使⽤MediaProjection的⽅式获取屏幕视频流。具体的使⽤⽅法和原理如下图

android屏幕分享.png

iOS -- ReplayKit