好记性不如烂键盘，持续整理了一下视频里面一些基础的概念。
- 文件格式
- 封装格式
- 视频编解码方式
- H.26X 系列
- MPEG 系列
- I、P、B 帧
- DTS、PTS
- 颜色模型
- 音频编解码方式
视频文件格式
视频文件格式
文件格式这个概念应该是我们比较熟悉的，比如我们常见的 Word 文档的文件格式是 .doc
，JPG 图片的文件格式是 .jpg 等等。那对于视频来说，我们常见的文件格式则有：.mov、.avi、.mpg、.vob、.mkv、.rm、.rmvb等等。文件格式通常表现为文件在操作系统上存储时的后缀名，它通常会被操作系统用来与相应的打开程序关联，比如你双击一个 test.doc 文件，系统会调用 Word 去打开它。你双击一个 test.avi 或者 test.mkv 系统会调用视频播放器去打开它。同样是视频，为什么会有 .mov、.avi、.mpg
等等这么多种文件格式呢？那是因为它们通过不同的方式实现了视频这件事情，至于这个不同在哪里，那就需要了解一下接下来要说的「视频封装格式」这个概念了。
视频封装格式
视频封装格式，简称视频格式，相当于一种储存视频信息的容器，它里面包含了封装视频文件所需要的视频信息、音频信息和相关的配置信息(比如：视频和音频的关联信息、如何解码等等)。一种视频封装格式的直接反映就是对应着相应的视频文件格式。
下面我们就列举一些文件封装格式：
AVI 格式，对应的文件格式为 .avi
，英文全称 Audio Video Interleaved，是由 Microsoft 公司于 1992 年推出。这种视频格式的优点是图像质量好，无损 AVI 可以保存 alpha 通道。缺点是体积过于庞大，并且压缩标准不统一，存在较多的高低版本兼容问题。
DV-AVI 格式，对应的文件格式为 .avi
，英文全称 Digital Video Format，是由索尼、松下、JVC 等多家厂商联合提出的一种家用数字视频格式。常见的数码摄像机就是使用这种格式记录视频数据的。它可以通过电脑的 IEEE 1394 端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。
WMV 格式，对应的文件格式是 .wmv
、.asf
，英文全称 Windows Media Video，是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。在同等视频质量下，WMV 格式的文件可以边下载边播放，因此很适合在网上播放和传输。
MPEG 格式，对应的文件格式有 .mpg、.mpeg、.mpe、.dat、.vob、.asf、.3gp、.mp4 等等，英文全称 Moving Picture Experts Group，是由运动图像专家组制定的视频格式，该专家组于 1988 年组建，专门负责视频和音频标准制定，其成员都是视频、音频以及系统领域的技术专家。MPEG 格式目前有三个压缩标准，分别是 MPEG-1、MPEG-2、和 MPEG-4。MPEG-4 是现在用的比较多的视频封装格式，它为了播放流式媒体的高质量视频而专门设计的，以求使用最少的数据获得最佳的图像质量。
Matroska 格式，对应的文件格式是 .mkv，Matroska 是一种新的视频封装格式，它可将多种不同编码的视频及 16 条以上不同格式的音频和不同语言的字幕流封装到一个 Matroska Media 文件当中。
Real Video 格式，对应的文件格式是 .rm、.rmvb，是 Real Networks 公司所制定的音频视频压缩规范称为 Real Media。用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。
QuickTime File Format 格式，对应的文件格式是 .mov，是 Apple 公司开发的一种视频格式，默认的播放器是苹果的 QuickTime。这种封装格式具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存 alpha 通道。
Flash Video 格式，对应的文件格式是 .flv，是由 Adobe Flash 延伸出来的一种网络视频封装格式。这种格式被很多视频网站所采用。
从上面的介绍中，我们大概对视频文件格式以及对应的视频封装方式有了一个概念，接下来则需要了解一下关于视频更本质的东西，那就是视频编解码。
视频编解码方式
常见的视频编码方式有：
H.26X 系列
由国际电传视讯联盟远程通信标准化组织(ITU-T)主导，包括 H.261、H.262、H.263、H.264、H.265。
H.261
H.261产生的时候，由于各国的电视制式并不统一，因此在H.261中规定了一种中间格式CIF，在编码时首先需要将需要编码的格式转换为CIF格式，然后进行传输，接收端进行解码后在转化为各自的格式。H.261规定的CIF格式视频的亮度分辨率为352×288，QCIF格式的亮度分辨率为176×144
H.261编码所采用的技术：
帧内编码/帧间编码判定：根据帧与帧之间的相关性判定——相关性高使用帧间编码，相关性低使用帧内编码。
帧内编码：对于帧内编码帧，直接使用DCT编码8×8的像素块。
帧间编码/运动估计：使用以宏块为基础的运动补偿预测编码；当前宏块从参考帧中查找最佳匹配宏块，并计算其相对偏移量(Vx, Vy)作为运动矢量；编码器使用DCT、量化编码当前宏块和预测宏块的残差信号；
环路滤波器：实际上是一个数字低通滤波器，滤除不必要的高频信息，以消除方块效应；
H.261的码流采用了分层结构，
H.262
等同于 MPEG-2 第二部分，使用在 DVD、SVCD 和大多数数字视频广播系统和有线分布系统中。
H.263
H.263是在H.261的基础上做了改进和增强，相对于H.261有着更好的压缩比，并且在H.261的CIF和QCIF的格式基础上增加了Sub-QCIF、4CIF和16CIF。
在视频信源编码上，相比H.261，从每个宏块一个运动矢量扩展为对每一个8*8的像素块分配一个运动矢量，并且开始支持1/2像素精度的运动矢量。同时增加了算数编码和双向预测来进一步提升压缩比。
H.264
H.264，等同于 MPEG-4 第十部分，也被称为高级视频编码(Advanced Video Coding，简称 AVC)，是一种视频压缩标准，一种被广泛使用的高精度视频的录制、压缩和发布格式。该标准引入了一系列新的能够大大提高压缩性能的技术，并能够同时在高码率端和低码率端大大超越以前的诸标准。
H.264在最初制定时，仅支持8bit采用，色度采样使用4:2:0，仅考虑了大部分通用的视频处理和传输场合，没有考虑特殊的处理，如源视频采样精度超过了8bit，色度采样使用了4:2:2或4:4:4，这些视频处理能力都超出了H.264的处理范围，后来又推出了H.264 FRExt。
H.264整体的编码框架上，依旧采用了块结构的混合编码框架；整个结构包括两个部分，网络抽象层（NAL）和视频编码层（VCL）。视频的每一帧被分为一个或多个slice进行编码，每一个slice包含多了宏块（Macroblock），其中宏块是H.264基本的编码单元，这种宏块包含一个16*16亮度块+两个8*8的色度块+其他一些宏块头信息。整个编码的框架如下图：
H.264相比原来的编码标准有着更多的改进，在编码中，H.264的每一个宏块会被分割为多种不同大小的子块进行预测编码，帧内预测采用的块的大小可能为16*16，也可能为4*4，帧间预测采用的块有着7种不同的大小，分别是16*16、16*8、8*16、8*8、8*4、4*8和4*4，针对预测残差数据进行的变换编码采用了4*4或8*8的变换块。在熵编码中提供了CAVLC（Context Adaptive VariableLength Coding）和CABAC(ContextAdaptive Binary Arithmatic Coding)
帧内预测
预测编码的思路简单来说就是指编码的实际值和预测值之间的差异，对于帧内预测来说是利用空间冗余，即利用帧内像素的相似性，来获得残差，如果对残差进行编码要比对实际值进行编码的码流小的多。例如在一个88的亮度分量的实际像素值中，左侧是实际值，中间是预测值，右侧是残差。在H.264中，使用空间域的左方与上方的相邻像素预测当前编码的像素值，如果一个宏块是Intra宏块，即宏块采用帧内预测，其亮度分量有两种分割模式，一个16*16像素块或者16个4*4像素块，其中对于每个4*4像素块有9中预测模式，对于16*16的像素块有4种预测模式。由于H.264的一个宏块包含了2个88的色度分量，对于色度分量的预测方式与16*16的亮度分量相同。
4*4像素块的预测方式
16*16像素块的预测方式
帧间预测
H.264的帧间预测方法类似于H.263等前期标准的方法，在具体的算法上进行了一定的改进，相比H.263增加了更多的宏块划分模式，从1616到44，并且使用了非整像素来增加运动矢量精度。
帧间预测的宏块分割方式
H.265
H.265，被称为高效率视频编码(High Efficiency Video Coding，简称 HEVC)是一种视频压缩标准，是 H.264 的继任者。HEVC 被认为不仅提升图像质量，同时也能达到 H.264 两倍的压缩率（等同于同样画面质量下比特率减少了 50%），可支持 4K 分辨率甚至到超高画质电视，最高分辨率可达到 8192×4320（8K 分辨率），这是目前发展的趋势。
MPEG 系列
由国际标准组织机构(ISO)下属的运动图象专家组(MPEG)开发。
MPEG-1 第二部分
，主要使用在 VCD 上，有些在线视频也使用这种格式。该编解码器的质量大致上和原有的 VHS 录像带相当。
MPEG-2 第二部分
，等同于 H.262
，使用在 DVD、SVCD 和大多数数字视频广播系统和有线分布系统中。
MPEG-4 第二部分
，可以使用在网络传输、广播和媒体存储上。比起 MPEG-2 第二部分
和第一版的 H.263
，它的压缩性能有所提高。
MPEG-4 第十部分
，等同于 H.264
，是这两个编码组织合作诞生的标准。
其他，AMV、AVS、Bink、CineForm 等等，这里就不做多的介绍了。
介绍了上面这些「视频编解码方式」后，我们来说说它和上一节讲的「视频封装格式」的关系。可以把「视频封装格式」看做是一个装着视频、音频、「视频编解码方式」等信息的容器。一种「视频封装格式」可以支持多种「视频编解码方式」，比如：QuickTime File Format(.MOV) 支持几乎所有的「视频编解码方式」，MPEG(.MP4) 也支持相当广的「视频编解码方式」。当我们看到一个视频文件名为 test.mov时，我们可以知道它的「视频文件格式」是 .mov，也可以知道它的视频封装格式是 QuickTime File Format，但是无法知道它的「视频编解码方式」。那比较专业的说法可能是以 A/B 这种方式，A 是「视频编解码方式」，B 是「视频封装格式」。比如：一个 H.264/MOV 的视频文件，它的封装方式就是 QuickTime File Format，编码方式是 H.264。
I、P、B 帧
I 帧、P 帧、B 帧的区别在于：
I 帧（Intra coded frames）：I 帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。I 帧使用帧内压缩，不使用运动补偿，由于 I 帧不依赖其它帧，所以是随机存取的入点，同时是解码的基准帧。I 帧主要用于接收机的初始化和信道的获取，以及节目的切换和插入，I 帧图像的压缩倍数相对较低。I 帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。
P 帧（Predicted frames）：P 帧和 B 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。P 帧图像只采用前向时间预测，可以提高压缩效率和图像质量。P 帧图像中可以包含帧内编码的部分，即 P 帧中的每一个宏块可以是前向预测，也可以是帧内编码。
B 帧（Bi-directional predicted frames）：B 帧图像采用双向时间预测，可以大大提高压缩倍数。值得注意的是，由于 B 帧图像采用了未来帧作为参考，因此 MPEG-2 编码码流中图像帧的传输顺序和显示顺序是不同的。
也就是说，一个 I 帧可以不依赖其他帧就解码出一幅完整的图像，而 P 帧、B 帧不行。P 帧需要依赖视频流中排在它前面的帧才能解码出图像。B 帧则需要依赖视频流中排在它前面或后面的帧才能解码出图像。
这就带来一个问题：在视频流中，先到来的 B 帧无法立即解码，需要等待它依赖的后面的 I、P 帧先解码完成，这样一来播放时间与解码时间不一致了，顺序打乱了，那这些帧该如何播放呢？这时就需要我们来了解另外两个概念：DTS 和 PTS。
DTS、PTS
DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
PTS（Presentation Time Stamp）：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。
需要注意的是：虽然 DTS、PTS 是用于指导播放端的行为，但它们是在编码的时候由编码器生成的。
当视频流中没有 B 帧时，通常 DTS 和 PTS 的顺序是一致的。但如果有 B 帧时，就回到了我们前面说的问题：解码顺序和播放顺序不一致了。
比如一个视频中，帧的显示顺序是：I B B P，现在我们需要在解码 B 帧时知道 P 帧中信息，因此这几帧在视频流中的顺序可能是：I P B B，这时候就体现出每帧都有 DTS 和 PTS 的作用了。DTS 告诉我们该按什么顺序解码这几帧图像，PTS 告诉我们该按什么顺序显示这几帧图像。顺序大概如下：
PTS: 1 4 2 3
DTS: 1 2 3 4
Stream: I P B B
颜色模型
在 RGB 模型中每种颜色需要 3 个数字，分别表示 R、G、B，比如 (255, 0, 0) 表示红色，通常一个数字占用 1 字节，那么表示一种颜色需要 24 bits。那么有没有更高效的颜色模型能够用更少的 bit 来表示颜色呢？
现在我们假设我们定义一个「亮度(Luminance)」的概念来表示颜色的亮度，那它就可以用含 R、G、B 的表达式表示为：
Y = kr*R + kg*G + kb*B
Y 即「亮度」，kr、kg、kb 即 R、G、B 的权重值。
这时，我们可以定义一个「色度(Chrominance)」的概念来表示颜色的差异：
Cr = R – Y
Cg = G – Y
Cb = B – Y
Cr、Cg、Cb 分别表示在 R、G、B 上的色度分量。上述模型就是 YCbCr 颜色模型基本原理。
YCbCr 是属于 YUV 家族的一员，是在计算机系统中应用最为广泛的颜色模型，就比如在本文所讲的视频领域。在 YUV 中 Y 表示的是「亮度」，也就是灰阶值，U 和 V 则是表示「色度」。YUV 的关键是在于它的亮度信号 Y 和色度信号 U、V 是分离的。那就是说即使只有 Y 信号分量而没有 U、V 分量，我们仍然可以表示出图像，只不过图像是黑白灰度图像。在YCbCr 中 Y 是指亮度分量，Cb 指蓝色色度分量，而 Cr 指红色色度分量。
现在我们从 ITU-R BT.601-7 标准中拿到推荐的相关系数，就可以得到 YCbCr 与 RGB 相互转换的公式：
Y = 0.299R + 0.587G + 0.114B
Cb = 0.564(B - Y)
Cr = 0.713(R - Y)
R = Y + 1.402Cr
G = Y - 0.344Cb - 0.714Cr
B = Y + 1.772Cb
这样对于 YCbCr 这个颜色模型我们就有个初步认识了，但是我们会发现，这里 YCbCr 也仍然用了 3 个数字来表示颜色啊，有节省 bit 吗？为了回答这个问题，我们来结合视频中的图像和图像中的像素表示来说明。
图片是由类似下面的像素组成：
一副图片就是一个像素阵列：
上图中，每个像素的 3 个分量的信息是完整的，YCbCr 4:4:4。
上图中，对于每个像素点都保留「亮度」值，但是省略每行中偶素位像素点的「色度」值，从而节省了 bit。
上图中，做了更多的省略，但是对图片质量的影响却不会太大。
对于更细节的内容，可以查询与 YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1 和 YCbCr 4:4:4 相关的知识。
音频编解码方式
视频中除了画面通常还有声音，所以这就涉及到音频编解码。在视频中经常使用的音频编码方式有：
AAC，英文全称 Advanced Audio Coding，是由 Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同开发，在 1997 年推出的基于 MPEG-2 的音频编码技术。2000 年，MPEG-4 标准出现后，AAC 重新集成了其特性，加入了 SBR 技术和 PS 技术，为了区别于传统的 MPEG-2 AAC 又称为 MPEG-4 AAC。
MP3，英文全称 MPEG-1 or MPEG-2 Audio Layer III，是当曾经非常流行的一种数字音频编码和有损压缩格式，它被设计来大幅降低音频数据量。它是在 1991 年，由位于德国埃尔朗根的研究组织 Fraunhofer-Gesellschaft 的一组工程师发明和标准化的。MP3 的普及，曾对音乐产业造成极大的冲击与影响。
WMA，英文全称 Windows Media Audio，由微软公司开发的一种数字音频压缩格式，本身包括有损和无损压缩格式。
