一、本节目标
继上节获取解封装的 AvPacket 数据包之后，我们知道 AvPacket 存储的都是编码后的数据，因此我们需要将数据包进行解码，从而得到原始的数据，而 FFmpeg 使用 AvFrame 这个数据结构来存储解码后的数据。
对于解码后的数据：
- 视频原始数据一般是用
yuv表示。 - 音频原始数据一般用
pcm表示。
而在开始之前，我们还是来回顾一下 FFmpeg 处理流的整个过程。
FFmeg 处理流程如下：
- 1、得到输入流，打开输入流
- 2、解封装格式->得到编码数据包 AvPacket
- 3、解码数据包->得到解码的原始数据 AvFrame
- 4、处理数据->例如滤镜处理，重采样，像素格式转化等
- 5、编码原始数据->得到编码后的数据
- 6、封装格式
- 7、得到输出文件
根据本节目标，我们可以知道，我们重点要了解的就是第 3 步，解码数据包得到 AvFrame 数据。
二、解码音视频的步骤
2.1、 获取解码器
- 0、注册编解码器
avcodec_register_all();
- 1、 获取解码器
AVCodec
因为音频和视频的解码器
AVCodec是不一样的，而在 FFmpeg 中每一个解码器都会对应的一个codec_id，我们可以通过这个 id 就可以获取对应的解码器了。当前除了通过codec_id获取之外，也可以通过name来获取，目前先不考虑这种方式。
下面来看一下如何获取：
//得到视音频解码器
AVCodec *audioCodec = avcodec_find_decoder(
avFormatContext->streams[audioIndex]->codecpar->codec_id);
//得到视频解码器
AVCodec *vedioCodec = avcodec_find_decoder(
avFormatContext->streams[videoIndex]->codecpar->codec_id);
- 2、分配解码器上下文空间
AVCodecContext
创建
AVCodecContext空间
AVCodecContext *ac = avcodec_alloc_context3(audioCodec);
AVCodecContext *vc = avcodec_alloc_context3(vedioCodec);
- 3、初始化解码器上下文
将
AVCodecParameters的参数赋值给AVCodecContext。
ret = avcodec_parameters_to_context(ac, avFormatContext->streams[audioIndex]->codecpar);
if (ret < 0) {
LOGE("avcodec_parameters_to_context audio failed...")
return;
}
ret = avcodec_parameters_to_context(vc, avFormatContext->streams[videoIndex]->codecpar);
if (ret < 0) {
LOGE("avcodec_parameters_to_context vedio failed...")
return;
}
- 4、打开解码器
使用
AVCodec初始化AVCodecContext
//打开解码器
ret = avcodec_open2(ac, audioCodec, 0);
if (ret != 0) {
LOGE("avcodec_open2 audioCodec failed ...");
return;
}
ret = avcodec_open2(vc, vedieCodec, 0);
if (ret != 0) {
LOGE("avcodec_open2 vedieCodec failed ...");
return;
}
2.2、开始解码流程
准备好解码器以及解码器上下文就可以开始解码流程了。在上一节中，我们已经通过
av_read_frame解封装获取到对应的编码数据包AvPacket，下面我们要做的是解码这个数据包。
还是列一下操作步骤：
- 0、
av_read_frame得到解封装后的 AvPacket 。 - 1、
avcodec_send_packet将 AvPacket 送入解码队列。 - 2、
avcodec_receive_frame得到解码后的 AvFrame 数据。注意：在avcodec_send_packet之后，可能有多个 AvFrame 可以读取，因此在读取时需要循环读取。
//临时存储的解码器上下文
AVCodecContext *cc = NULL;
//视频解码器
AVCodecContext *vc = NULL;
//视频解码器
AVCodecContext *ac = NULL;
//得到解码器并初始化解码器上下文
...
//开始解码
for(;;){
//得到解封装后的 AvPacket
ret = av_read_frame(avFormatContext, pkt);
if(ret!=0){
continue;
}
if(pkt->stream_index == audioIndex){//当前解码音频数据
cc = ac;
}else if(pkt->stream_index == videoIndex){//当前解码视频帧
cc = vc;
}
//将 AvPacket 送入给解码队列
ret = avcodec_send_packet(cc, pkt);
//得到解码后的 AvFrame 数据
//发送一个 avpacket 之后可能可以收到多个 avframe
for(;;){
ret = avcodec_receive_frame(cc, avFrame);
if (ret != 0) {
break;
}
//TODO 在这里可以处理解码后的数据拉，例如滤镜操作，像素格式转化，重采样等。
}
}
//释放资源
avcodec_free_context(&ac);
avcodec_free_context(&vc);
注意：
在
avcodec_send_packet与avcodec_receive_frame应该是异步操作的，avcodec_send_packet会将AvPacket放入到缓存队列中去解码，avcodec_receive_frame初次被调用时因为异步的原因可能没有获取到，也有可能可以获取多个AvFrame，主要还是依赖解码的速度，因此通过循环去调用avcodec_receive_frame是比较妥当的做法。本文是基于之前写的几篇文章的，因此之前描述过的内容，在本文就不再重复了。
三、参考
记录于 2019年1月21日
