×

H.264学习笔记

96
落影loyinglin 595a1b60 08f6 4beb 998f 2bf55e230555
2016.09.06 10:45* 字数 1668

H.264组成

  • 1、网络提取层 (Network Abstraction Layer,NAL)
  • 2、视讯编码层 (Video Coding Layer,VCL)
  • a.H.264/AVC影像格式阶层架构
  • b.Slice的编码模式
    (1) I -slice: slice的全部MB都采用intra-prediction的方式来编码;
    (2) P-slice: slice中的MB使用intra-prediction和inter-prediction的方式来编码,但每一个inter-prediction block最多只能使用一个移动向量;
    (3) B-slice:与P-slice类似,但每一个inter-prediction block可以使用二个移动向量。B-slice的‘B’是指Bi-predictive(双向预测),除了可由前一张和后一张影像的I(或P、B)-slice外,也能从前二张不同影像的I(或P、B)-slice来做inter- prediction。
    (4) SP-slice:即所谓的Switching P slice,为P-slice的一种特殊类型,用来串接两个不同bitrate的bitstream;
    (5) SI-slice: 即所谓的Switching I slice,为I-slice的一种特殊类型,除了用来串接两个不同content的bitstream外,也可用来执行随机存取(random access)来达到网络VCR的功能
  • c、画面内预测技术(Intra-frame Prediction)
  • d、画面间预测技术(Inter-frame Prediction)

H.264介绍

码流结构

H.264的功能分为两层,视频编码层(VCL)和网络提取层(NAL)VCL数据即被压缩编码后的视频数据序列。在VCL数据要封装到NAL单元中之后,才可以用来传输或存储。


NALU (Network Abstraction Layer Unit )
  • SPS:序列参数集,作用于一系列连续的编码图像;
  • PSS:图像参数集,作用于编码视频序列中一个或多个独立的图像;

参数集是一个独立的数据单位,不依赖于参数集外的其他句法元素。一个参数集不对应某一个特定的图像或序列,同一序列参数集可以被多个图像参数集引用,同理,同一个图像参数集也可以被多个图像引用。只在编码器认为需要更新参数集的内容时,才会发出新的参数集。

NALU根据nal_unit_type的类型,可以分为:VCL的NAL单元和非VCL的NAL单元,详情如下:



官方文档

码流结构

iOS与H.264

1、视频相关的框架

由上到下:

  • AVKit
  • AVFoundation
  • Video Toolbox
  • Core Media
  • Core Video

其中的AVKit和AVFoudation、VideoToolbox都是使用硬编码和硬解码

2、相关类介绍

  • CVPixelBuffer: 包含未压缩的像素数据,包括图像宽度、高度等;
  • CVPixelBufferPool: CVPixelBuffer的缓冲池,因为CVPixelBuffer的创建和销毁代价很大;
  • pixelBufferAttributes: CFDictionary包括宽高、像素格式(RGBA、YUV)、使用场景(OpenGL ES、Core Animation)
  • CMTime: 64位的value,32位的scale,media的时间格式;
  • CMVideoFormatDescription: video的格式,包括宽高、颜色空间、编码格式等;对于H.264的视频,PPS和SPS的数据也在这里;
  • CMBlockBuffer:未压缩的图像数据;
  • CMSampleBuffer: 存放一个或者多个压缩或未压缩的媒体文件;
  • CMClock:时间源

A timing source object.

  • CMTimebase:时间控制器,可以设置rate和time;

A timebase represents a timeline that clients can control by setting the rate and time. Each timebase has either a master clock or a master timebase. The rate of the timebase is expressed relative to its master.

CMSampleBuffer的结构:


可以包含已压缩数据(CMBlockBuffer)或未压缩数据(CVPixelBuffer)及相关描述信息

3、AVKit

使用AVSampleBufferDisplayLayer显示H.264码流


  • 初始化
self.videoLayer = [[AVSampleBufferDisplayLayer alloc] init];
self.videoLayer.bounds = self.bounds;
self.videoLayer.position = CGPointMake(CGRectGetMidX(self.bounds), CGRectGetMidY(self.bounds));
self.videoLayer.videoGravity = AVLayerVideoGravityResizeAspect;
self.videoLayer.backgroundColor = [[UIColor greenColor] CGColor];
//set Timebase
CMTimebaseRef controlTimebase;
CMTimebaseCreateWithMasterClock( CFAllocatorGetDefault(), CMClockGetHostTimeClock(), &controlTimebase );
self.videoLayer.controlTimebase = controlTimebase;
CMTimebaseSetTime(self.videoLayer.controlTimebase, CMTimeMake(5, 1));
CMTimebaseSetRate(self.videoLayer.controlTimebase, 1.0);
// connecting the videolayer with the view
[[self layer] addSublayer:_videoLayer];
  • 传入SampleBuffer
__block AVAssetReaderTrackOutput *outVideo = [AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:video outputSettings:dic];
if( [assetReaderVideo startReading] )
{
    [_videoLayer requestMediaDataWhenReadyOnQueue: assetQueue usingBlock: ^{
        while( [_videoLayer isReadyForMoreMediaData] )
        {
            CMSampleBufferRef *sampleVideo = [outVideo copyNextSampleBuffer];
            [_videoLayer enqueueSampleBuffer:sampleVideo.data];
        }
    }];
}

4、MPEG-4封装的H.264码流格式

H.264的原始码流 与 MPEG-4封装的H.264码流格式不同在于:

  • SPS和PPS被统一
    需要用CMVideoFormatDescriptionCreateFromH264ParameterSets方法 ,统一PPS和SPS
  • 头字节表示帧的长度
    (原来的为00 00 01 或者 00 00 00 01)


当我们需要原始H.264码流包装成CMSampleBuffer时,我们可以按照以下步骤:
1、替换头字节长度;
2、用CMBlockBuffer把NALUnit包装起来;
3、把SPS和PPS包装成CMVideoFormatDescription;
4、添加CMTime时间;
5、创建CMSampleBuffer;


根据H.264原始码流创建CMSampleBuffer

当我们需要更新SPS和PPS的时候,调用
VTDecompressionSessionCanAcceptFormatDescription判断是否能接受新的SPS和PPS;
如果不能接受,那么需要新建session来处理frame,注意销毁原来的session;

更新SPS和PPS

5、采集摄像头数据

从摄像头采集数据,并用AVAssetWriter写入movieFile


摄像头采集并写入movieFile

从摄像头采集数据,并VideoToolbox硬编码,获取压缩后的码流

  • 按照显示顺序来,添加显示时间;
  • 时间只能加不能减,不能重复;
  • 异步的请求;(H.264的帧间预测)
  • 没有帧之后需要调用complete;

压缩后的码流是MPEG-4封装格式下的码流,要转换成原始码流的格式。
调用CMVideoFormatDescriptionGetH264ParameterSetAtIndex
获取视频的PPS和SPS

摄像头采集并生成H.264码流

6、Single-Pass和Multi-Pass编码

  • Single-Pass编码


  • Multi-Pass编码


AVAssetExportSession 优先采用多通道编码,不行再使用单通道编码;
Multi-passes的介绍

其他零碎的知识

视频码率是视频数据(视频色彩量、亮度量、像素量)每秒输出的位数。一般用的单位是kbps。
由于不同的系统会有不同的模式,为了统一,规定在网络传输中使用大端模式,这就是网络字节序
RTP协议:实时传送协议(Real-time Transport Protocol或简写RTP,也可以写成RTTP)是一个网络传输协议。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。
RTCP协议:实时传输控制协议(Real-time Transport Control Protocol或RTP Control Protocol或简写RTCP)是实时传输协议(RTP)的一个姐妹协议。
RTSP协议:RTSP(Real Time Streaming Protocol)是用来控制声音或影像的多媒体串流协议。

RTSP发起/终结流媒体、RTP传输流媒体数据 、RTCP对RTP进行控制,同步。

RTMP协议:RTMP(the Real-time Messaging Protocol)协议作为客户端和服务器端的传输协议,这是一个专门为高效传输视频、音频和数据而设计的 TCP/IP 协议。
HLS协议: HTTP Live Streaming(HLS)是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议。

RTP封包H.264码流
各种协议

总结

如果想更深入学习,可以看H.264标准中文版的文档。

音视频
Web note ad 1