ijkplayer系列(三) —— ijkplayer网络数据读取线程

写在前面

上一篇文章我大概跟踪了一下ijkplayer播放器的初始化流程,然后在IjkMediaPlayer_prepareAsync的时候我们发现它创建了几个线程:

  • 视频显示线程
  • 数据读取线程
  • 消息循环处理线程

如果还不清楚的童鞋可以返回看一下。

在本篇文章中,我们将会详细地去了解数据读取线程。

数据读取线程

从上一文,我们了解到,数据读取线程是在stream_open()/ff_ffplayer.c函数里面创建的,那么我们现在就回到这个函数。

static VideoState *stream_open(FFPlayer *ffp, const char *filename, AVInputFormat *iformat)
{
        frame_queue_init(&is->pictq, &is->videoq, ffp->pictq_size, 1)
        frame_queue_init(&is->sampq, &is->audioq, SAMPLE_QUEUE_SIZE, 1)
        packet_queue_init(&is->videoq);
        packet_queue_init(&is->audioq);
        SDL_CreateThreadEx(&is->_video_refresh_tid, video_refresh_thread, ffp, "ff_vout") //视频显示线程创建
        SDL_CreateThreadEx(&is->_read_tid, read_thread, ffp, "ff_read")
}

前面几句都是初始化队列的操作,分为两个队列:一个是音频,一个是视频。创建这两个队列的作用,相信大家都能猜到。

frame_queue_init()的第一个参数是解码出来的队列,第二个参数是未解码的队列。

后面创建了两个线程。我们现在只分析read_thread,同样贴出部分重要代码:

static int read_thread(void *arg)
{

//...
   err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);
  //...
    err = avformat_find_stream_info(ic, opts);
//...
   /* open the streams */
    if (st_index[AVMEDIA_TYPE_AUDIO] >= 0) {
        stream_component_open(ffp, st_index[AVMEDIA_TYPE_AUDIO]);
    }

    ret = -1;
    if (st_index[AVMEDIA_TYPE_VIDEO] >= 0) {
        ret = stream_component_open(ffp, st_index[AVMEDIA_TYPE_VIDEO]);
    }
//...
 for (;;) {
    if (is->seek_req) {
           avformat_seek_file();
       } 
    ret = av_read_frame(ic, pkt);
    packet_queue_put(&is->audioq, pkt); 
     //如果是视频的话 
    //packet_queue_put(&is->videoq, pkt);  
    }
}

首先如果让我们来实现一个读取线程,我们是不是要先判断视频源的格式??没错,avformat_open_input()/Utils.c这句话内部就是探测数据源的格式。这里会跳转到ffmpeg里面了,不在本文讲解的范围内,有兴趣的童鞋可以自行阅读下源码,其实在avformat_open_input()/Utils.c内读取网络数据包头信息时调用id3v2_parse(),然后获取到头信息后会执行ff_id3v2_parse_apic()/id3v2.c。最后 会更改ic这个AVFormatContext型的参数。

avformat_find_stream_info()解析流并找到相应解码器。当然解码器在我们上一文初始化的时候注册过了,在哪里呢?

JNI_Load()函数里面有一个ijkmp_global_init(),然后它会调用avcodec_register_all();这个函数其实就是注册解码器等。

然后对于音频或者视频都会调用stream_component_open()函数来进行音视频读取和解码,我们现在来看看这个函数:

static int stream_component_open(FFPlayer *ffp, int stream_index)
{
  //...
    codec = avcodec_find_decoder(avctx->codec_id);
    switch (avctx->codec_type) {
        case AVMEDIA_TYPE_AUDIO   : is->last_audio_stream    = stream_index; forced_codec_name = ffp->audio_codec_name; break;
        // FFP_MERGE: case AVMEDIA_TYPE_SUBTITLE:
        case AVMEDIA_TYPE_VIDEO   : is->last_video_stream    = stream_index; forced_codec_name = ffp->video_codec_name; break;
        default: break;
    }
//...
    switch (avctx->codec_type) {
    case AVMEDIA_TYPE_AUDIO:
        /* prepare audio output */
        if ((ret = audio_open(ffp, channel_layout, nb_channels, sample_rate, &is->audio_tgt)) < 0)
            goto fail;
      //...
        decoder_init(&is->auddec, avctx, &is->audioq, is->continue_read_thread);
      //...
        if ((ret = decoder_start(&is->auddec, audio_thread, ffp, "ff_audio_dec")) < 0)
            goto fail;
        SDL_AoutPauseAudio(ffp->aout, 0);
        break;
    case AVMEDIA_TYPE_VIDEO:
   //...
        decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread);
        ffp->node_vdec = ffpipeline_open_video_decoder(ffp->pipeline, ffp);
   //...
        if ((ret = decoder_start(&is->viddec, video_thread, ffp, "ff_video_dec")) < 0)
            goto fail;
       //...
        break;
    }
fail:
    av_dict_free(&opts);

    return ret;
}

type == audio
首先我们看到如果是audio的话,这个函数里面会调用audio_open(),这个函数会接着调用aout->open_audio(aout, pause_on);这个open_audio()其实也是我们之前初始化的时候设置过了,最终会调用aout_open_audio_n(),最后会:

SDL_CreateThreadEx(&opaque->_audio_tid, aout_thread);

aout_thread线程从解码好的音频帧队列sampq中,循环取数据推入AudioTrack中播放。这里又创建了一个线程==。就叫音频播放线程吧。

audio_open()里面还有个需要注意的地方,就是有这么一句,后面分析播放流程的时候会用到:

    wanted_spec.callback = sdl_audio_callback;

这里继续返回调用stream_component_open()的地方,然后接着后面有一个decoder_start();这个函数里面会创建一个线程:

SDL_CreateThreadEx(&is->_audio_tid, audio_thread, ffp, "ff_audio_dec");

音频解码线程,从audioq队列中获取音频包,解码并加入sampq音频帧列表中。入口函数是audio_thread()

type == video
这里其实和上面的流程差不多。
先在stream_component_open()里面创建了一个线程:

SDL_CreateThreadEx(&is->_video_tid, video_thread, ffp, "ff_video_dec")

视频解码线程,这个线程里面分为硬解码和软解码。

  • 软解:从videoq队列中获取视频包,解码视频帧放入pictq列表中。
  • 硬解:从videoq队列中获取视频包,推送MediaCodec解码,获取解码outputbuffer index并存储在pictq列表中。

接着在stream_component_open()后有一个无限for循环,作用是循环读取数据,然后把数据放入相应的audio队列或者video队列中。

然后在for循环里面,会先判断是否暂停读取数据,因为有时队列满了。还会判断是否拖动了快进或者后退操作。

在for循环的最后:

if (is->audio_stream >= 0) {
                    packet_queue_flush(&is->audioq);
                    packet_queue_put(&is->audioq, &flush_pkt);
                }
#ifdef FFP_MERGE
                if (is->subtitle_stream >= 0) {
                    packet_queue_flush(&is->subtitleq);
                    packet_queue_put(&is->subtitleq, &flush_pkt);
                }
#endif
                if (is->video_stream >= 0) {
                    if (ffp->node_vdec) {
                        ffpipenode_flush(ffp->node_vdec);
                    }
                    packet_queue_flush(&is->videoq);
                    packet_queue_put(&is->videoq, &flush_pkt);
                }

循环地向几个队列中put数据,这里看起来有3个队列,分别是音频,视频,字幕。然而作者前面似乎把字幕屏蔽过了。

总结

  • 从上面的流程可以看出,在读取数据的时候,当queue满了的时候,会delay。然而并不会断开连接。
  • 在读取的时候,有很多操作,这些操作都是受java层界面的影响,比如pause和resume操作,seek操作等。如果界面按了暂停什么的,都会反馈到这里,然后这里无限for循环的时候会相应作出各种操作。
  • 这里会不断读取音频和视频,然后放入到相应队列中。
  • read_thread线程里面会创建两个解码线程,一个音频播放线程。

数据读取线程大概完成了。如果有缺漏或者错误,欢迎拍砖!_

写在前面

上一篇文章我大概跟踪了一下ijkplayer播放器的初始化流程,然后在IjkMediaPlayer_prepareAsync的时候我们发现它创建了几个线程:

  • 视频显示线程
  • 数据读取线程
  • 消息循环处理线程

如果还不清楚的童鞋可以返回看一下。

在本篇文章中,我们将会详细地去了解数据读取线程。

数据读取线程

从上一文,我们了解到,数据读取线程是在stream_open()/ff_ffplayer.c函数里面创建的,那么我们现在就回到这个函数。

static VideoState *stream_open(FFPlayer *ffp, const char *filename, AVInputFormat *iformat)
{
        frame_queue_init(&is->pictq, &is->videoq, ffp->pictq_size, 1)
        frame_queue_init(&is->sampq, &is->audioq, SAMPLE_QUEUE_SIZE, 1)
        packet_queue_init(&is->videoq);
        packet_queue_init(&is->audioq);
        SDL_CreateThreadEx(&is->_video_refresh_tid, video_refresh_thread, ffp, "ff_vout") //视频显示线程创建
        SDL_CreateThreadEx(&is->_read_tid, read_thread, ffp, "ff_read")
}

前面几句都是初始化队列的操作,分为两个队列:一个是音频,一个是视频。创建这两个队列的作用,相信大家都能猜到。

frame_queue_init()的第一个参数是解码出来的队列,第二个参数是未解码的队列。

后面创建了两个线程。我们现在只分析read_thread,同样贴出部分重要代码:

static int read_thread(void *arg)
{

//...
   err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);
  //...
    err = avformat_find_stream_info(ic, opts);
//...
   /* open the streams */
    if (st_index[AVMEDIA_TYPE_AUDIO] >= 0) {
        stream_component_open(ffp, st_index[AVMEDIA_TYPE_AUDIO]);
    }

    ret = -1;
    if (st_index[AVMEDIA_TYPE_VIDEO] >= 0) {
        ret = stream_component_open(ffp, st_index[AVMEDIA_TYPE_VIDEO]);
    }
//...
 for (;;) {
    if (is->seek_req) {
           avformat_seek_file();
       } 
    ret = av_read_frame(ic, pkt);
    packet_queue_put(&is->audioq, pkt); 
     //如果是视频的话 
    //packet_queue_put(&is->videoq, pkt);  
    }
}

首先如果让我们来实现一个读取线程,我们是不是要先判断视频源的格式??没错,avformat_open_input()/Utils.c这句话内部就是探测数据源的格式。这里会跳转到ffmpeg里面了,不在本文讲解的范围内,有兴趣的童鞋可以自行阅读下源码,其实在avformat_open_input()/Utils.c内读取网络数据包头信息时调用id3v2_parse(),然后获取到头信息后会执行ff_id3v2_parse_apic()/id3v2.c。最后 会更改ic这个AVFormatContext型的参数。

avformat_find_stream_info()解析流并找到相应解码器。当然解码器在我们上一文初始化的时候注册过了,在哪里呢?

JNI_Load()函数里面有一个ijkmp_global_init(),然后它会调用avcodec_register_all();这个函数其实就是注册解码器等。

然后对于音频或者视频都会调用stream_component_open()函数来进行音视频读取和解码,我们现在来看看这个函数:

static int stream_component_open(FFPlayer *ffp, int stream_index)
{
  //...
    codec = avcodec_find_decoder(avctx->codec_id);
    switch (avctx->codec_type) {
        case AVMEDIA_TYPE_AUDIO   : is->last_audio_stream    = stream_index; forced_codec_name = ffp->audio_codec_name; break;
        // FFP_MERGE: case AVMEDIA_TYPE_SUBTITLE:
        case AVMEDIA_TYPE_VIDEO   : is->last_video_stream    = stream_index; forced_codec_name = ffp->video_codec_name; break;
        default: break;
    }
//...
    switch (avctx->codec_type) {
    case AVMEDIA_TYPE_AUDIO:
        /* prepare audio output */
        if ((ret = audio_open(ffp, channel_layout, nb_channels, sample_rate, &is->audio_tgt)) < 0)
            goto fail;
      //...
        decoder_init(&is->auddec, avctx, &is->audioq, is->continue_read_thread);
      //...
        if ((ret = decoder_start(&is->auddec, audio_thread, ffp, "ff_audio_dec")) < 0)
            goto fail;
        SDL_AoutPauseAudio(ffp->aout, 0);
        break;
    case AVMEDIA_TYPE_VIDEO:
   //...
        decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread);
        ffp->node_vdec = ffpipeline_open_video_decoder(ffp->pipeline, ffp);
   //...
        if ((ret = decoder_start(&is->viddec, video_thread, ffp, "ff_video_dec")) < 0)
            goto fail;
       //...
        break;
    }
fail:
    av_dict_free(&opts);

    return ret;
}

type == audio
首先我们看到如果是audio的话,这个函数里面会调用audio_open(),这个函数会接着调用aout->open_audio(aout, pause_on);这个open_audio()其实也是我们之前初始化的时候设置过了,最终会调用aout_open_audio_n(),最后会:

SDL_CreateThreadEx(&opaque->_audio_tid, aout_thread);

aout_thread线程从解码好的音频帧队列sampq中,循环取数据推入AudioTrack中播放。这里又创建了一个线程==。就叫音频播放线程吧。

audio_open()里面还有个需要注意的地方,就是有这么一句,后面分析播放流程的时候会用到:

    wanted_spec.callback = sdl_audio_callback;

这里继续返回调用stream_component_open()的地方,然后接着后面有一个decoder_start();这个函数里面会创建一个线程:

SDL_CreateThreadEx(&is->_audio_tid, audio_thread, ffp, "ff_audio_dec");

音频解码线程,从audioq队列中获取音频包,解码并加入sampq音频帧列表中。入口函数是audio_thread()

type == video
这里其实和上面的流程差不多。
先在stream_component_open()里面创建了一个线程:

SDL_CreateThreadEx(&is->_video_tid, video_thread, ffp, "ff_video_dec")

视频解码线程,这个线程里面分为硬解码和软解码。

  • 软解:从videoq队列中获取视频包,解码视频帧放入pictq列表中。
  • 硬解:从videoq队列中获取视频包,推送MediaCodec解码,获取解码outputbuffer index并存储在pictq列表中。

接着在stream_component_open()后有一个无限for循环,作用是循环读取数据,然后把数据放入相应的audio队列或者video队列中。

然后在for循环里面,会先判断是否暂停读取数据,因为有时队列满了。还会判断是否拖动了快进或者后退操作。

在for循环的最后:

if (is->audio_stream >= 0) {
                    packet_queue_flush(&is->audioq);
                    packet_queue_put(&is->audioq, &flush_pkt);
                }
#ifdef FFP_MERGE
                if (is->subtitle_stream >= 0) {
                    packet_queue_flush(&is->subtitleq);
                    packet_queue_put(&is->subtitleq, &flush_pkt);
                }
#endif
                if (is->video_stream >= 0) {
                    if (ffp->node_vdec) {
                        ffpipenode_flush(ffp->node_vdec);
                    }
                    packet_queue_flush(&is->videoq);
                    packet_queue_put(&is->videoq, &flush_pkt);
                }

循环地向几个队列中put数据,这里看起来有3个队列,分别是音频,视频,字幕。然而作者前面似乎把字幕屏蔽过了。

总结

  • 从上面的流程可以看出,在读取数据的时候,当queue满了的时候,会delay。然而并不会断开连接。
  • 在读取的时候,有很多操作,这些操作都是受java层界面的影响,比如pause和resume操作,seek操作等。如果界面按了暂停什么的,都会反馈到这里,然后这里无限for循环的时候会相应作出各种操作。
  • 这里会不断读取音频和视频,然后放入到相应队列中。
  • read_thread线程里面会创建两个解码线程,一个音频播放线程。

数据读取线程大概完成了。如果有缺漏或者错误,欢迎拍砖!_

** 如果大家还想了解ijkplayer的工作流程的话,可以关注下android下的ijkplayer。**

推荐阅读更多精彩内容

  • 教程一:视频截图(Tutorial 01: Making Screencaps) 首先我们需要了解视频文件的一些基...
    90后的思维阅读 1,553评论 0 3
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 67,562评论 12 114
  • 这是一个跨平台的播放器ijkplayer,iOS上集成看【如何快速的开发一个完整的iOS直播app】(原理篇)。 ...
    FindCrt阅读 3,334评论 2 36
  • 随着互联网技术的飞速发展,移动端播放视频的需求如日中天,由此也催生了一批开源/闭源的播放器,但是无论这个播放器功能...
    金山视频云阅读 27,067评论 25 118
  • 根据ffmpeg官方网站上的例子程序开始学习ffmpeg和SDL编程。 SDL是一个跨平台的多媒体开发包。适用于游...
    Q星阅读 382评论 0 2