[如果觉得文章有用，可以支持一下放眼直播]

群里的基友大牙，写过一个延迟的总结：相关链接

看懂了代码你就知道，这个写法是不会因为丢帧引入花屏的，因为丢帧都是丢到I帧之前的P/B帧为止。我之前也写过一个类似的，思路都是一样，但这个代码更精简。

A：如果你想要实时性，可以去掉缓冲区，一句代码：

  [options setPlayerOptionIntValue:0 forKey:@"packet-buffering"];  //  关闭播放器缓冲

B: 如果你这样试过，发现你的项目中播放频繁卡顿，
你想留1-2秒缓冲区，让数据更平缓一些，
那你可以选择保留缓冲区，不设置上面那个就行。

我个人觉得：

网络卡的黑锅，不应该让直播播放器来背吧#

做互动直播的话，还是不要缓冲区吧（我选A）~~~
卡顿的原因比较多，具体问题要具体分析。只可惜实际上大多数直播网络都不太稳定，有CDN节点不足的问题，也有主播端自身和代码的各种问题（做直播一年多来，真的碰到了各种场景，各种坑）...

代码修改和分析：

1. 你可以加个变量，区分直播点播
ff_ffplay_debug.h
    ......
    AVApplicationContext *app_ctx;
    //gongjia add
+   int blive;
} FFPlayer;





------------------------
ff_ffplay.c
2.  video_image_display2函数, 是在渲染线程video_refresh_thread里调用的

static void video_image_display2(FFPlayer *ffp)
{
    VideoState *is = ffp->is;
    Frame *vp;

    vp = frame_queue_peek_last(&is->pictq);

    int latest_seek_load_serial = __atomic_exchange_n(&(is->latest_seek_load_serial), -1, memory_order_seq_cst);
    if (latest_seek_load_serial == vp->serial)
        ffp->stat.latest_seek_load_duration = (av_gettime() - is->latest_seek_load_start_at) / 1000;

    if (vp->bmp) {
        SDL_VoutDisplayYUVOverlay(ffp->vout, vp->bmp);
        ffp->stat.vfps = SDL_SpeedSamplerAdd(&ffp->vfps_sampler, FFP_SHOW_VFPS_FFPLAY, "vfps[ffplay]");
        if (!ffp->first_video_frame_rendered) {
            ffp->first_video_frame_rendered = 1;
            ffp_notify_msg1(ffp, FFP_MSG_VIDEO_RENDERING_START);
            //gongjia add  这里可以判断是否是点播还是直播，如果你们平台只有直播，可以忽略
            if(ffp->blive == -1){
                int duration_l = ffp_get_duration_l(ffp);
                if(duration_l == 0) {
                    ffp->blive = 1;
                    av_log(NULL, AV_LOG_INFO, "[gdebug %s: %d] blive = %d, %s\n", __FUNCTION__, __LINE__, ffp->blive, ffp->blive?"live":"vod");
                }else if(duration_l > 0) {
                    ffp->blive = 0;
                    av_log(NULL, AV_LOG_INFO, "[gdebug %s: %d] blive = %d, %s\n", __FUNCTION__, __LINE__, ffp->blive, ffp->blive?"live":"vod");
                }else{
                    ffp->blive = -1;
                    av_log(NULL, AV_LOG_ERROR, "[gdebug %s: %d]\n", __FUNCTION__, __LINE__);
                }
                
            }
        }
    }
}

---------------------------------------------
read_thread()

// 可以在最前面定义下初始化, 也可以在初始化函数里定义
+ ffp->blive = -1;

//可以交给应用层设置，嫌麻烦就忽略这段代码
+ AVDictionaryEntry *is_live = av_dict_get(ffp->player_opts, "islive", NULL, 0);
    if (is_live) {
        int islive = atoi(is_live->value);
        av_log(NULL, AV_LOG_ERROR, "[gdebug %s, %d]. get from java, islive = %d\n",__FUNCTION__, __LINE__, islive);
        
        if (islive < 0) {
            ffp->blive = -1;
        } else {
            ffp->blive = islive;
        }
    } else {
        ffp->blive = -1;
    }

  err = avformat_find_stream_info(ic, opts);

这里就涉及到一个问题，读线程和显示线程的先后顺序问题

先看渲染线程video_refresh_thread
<- stream_open
<- ffp_prepare_async_l
<-ijkmp_prepare_async_l
<-ijkmp_prepare_async
<-IjkMediaPlayer_prepareAsync

也就是在应用调用 _prepareAsync的时候
同样，读数据线程read_thread也是在这时候创建的
<- stream_open

看stream_open代码：

is->video_refresh_tid = SDL_CreateThreadEx(&is->_video_refresh_tid, video_refresh_thread, ffp, "ff_vout");
.....
is->read_tid = SDL_CreateThreadEx(&is->_read_tid, read_thread, ffp, "ff_read");

所以

两个线程是同时创建的，甚至从代码看，显示线程还建立的更早一步，但是只有先读到数据，才能喂给显示#

因为每个图像是否能渲染，是有条件的： 非暂停状态

static int video_refresh_thread(void *arg)
{
    FFPlayer *ffp = arg;
    VideoState *is = ffp->is;
    double remaining_time = 0.0;
    while (!is->abort_request) {
        if (remaining_time > 0.0)
            av_usleep((int)(int64_t)(remaining_time * 1000000.0));
        remaining_time = REFRESH_RATE;
        if (is->show_mode != SHOW_MODE_NONE && (!is->paused || is->force_refresh))
            video_refresh(ffp, &remaining_time); //一定是非暂停状态才渲染（或者你设置强制渲染force_refresh）
    }

    return 0;
}

所以说，video_image_display2会在读了一些数据后，才执行到， 我在这里再判断是否直播，判断一次就好，也没问题（也有个别例子，就是这个获取总时长不准，在一些rtsp的监控项目中也可见，这时候可以通过别的辅助手段）#

继续往下走

read_thread()
.......
for (;;) {
        if (is->abort_request)
            break;

......
if (pkt->stream_index == is->audio_stream && pkt_in_play_range) {
+ #ifdef MAX_CACHED_DURATION
        if(!is->paused && ffp->blive && ffp->first_video_frame_rendered == 1){  
            if (is->max_cached_duration > 0 && (pkt->flags & AV_PKT_FLAG_KEY)) {
                control_queue_duration(ffp, is);
            }
          }         
+ #endif
  packet_queue_put(&is->audioq, pkt);
}

Note： 代码越精简，bug越少。

static void control_queue_duration(FFPlayer *ffp, VideoState *is) {
    if (is->max_cached_duration <= 0) {
        return;
    }

    if (is->audio_st) {
        return control_audio_queue_duration(ffp, is);
    }
/*  可选： 一般情况都丢不到视频帧
    if (is->video_st) {
        return control_video_queue_duration(ffp, is);
    }
*/
}

在有缓冲区的前提下，我的想法是：

1. 暂停的时候不要丢帧（否则1：你的点播会出问题 2：如果你的缓冲区比丢帧的阀值大也会出问题）
2. 只丢音频帧。（有些流不适合同时丢音视频帧：会出现视频的帧率变低，视频的延迟会累积。）
3. 每次丢帧完，下一个循环是一个GOP周期（直播GOP, 也就是视频的关键帧间隔时间，建议是1-2秒），用GOP值而不用精准定时器，减少开销。
4. 我期望的是渲染视频后再开始丢帧，所以我增加了ffp->first_video_frame_rendered == 1的判断，虽然在播放出画面前的is->paused值都是1，其实这句代码不加也没问题，不过这样更能表达意图，以及防止没考虑到的意外情况。

问题1： 丢帧的阀值和缓冲区的大小都是3秒，会不会造成刚缓冲完就丢了呢？

：不会！
代码分析：暂停的触发条件是没有数据了，会把paused置成1.

static int packet_queue_get_or_buffering(FFPlayer *ffp, PacketQueue *q, AVPacket *pkt, int *serial, int *finished)
{
    assert(finished);
    if (!ffp->packet_buffering)
        return packet_queue_get(q, pkt, 1, serial);

    while (1) {
        int new_packet = packet_queue_get(q, pkt, 0, serial);
        if (new_packet < 0)
            return -1;
        else if (new_packet == 0) { //没数据（解码前的收流数据）
            if (q->is_buffer_indicator && !*finished)
                ffp_toggle_buffering(ffp, 1);  //暂停了
            new_packet = packet_queue_get(q, pkt, 1, serial);
            if (new_packet < 0)
                return -1;
        }

        if (*finished == *serial) {
            av_free_packet(pkt);
            continue;
        }
        else
            break;
    }

    return 1;
}

ffp_check_buffering_l这个的函数的作用是: 查看下可否把paused置成0.

也就是说，不管你缓冲区多大，只有消耗掉所有数据才会暂停，然后开始攒数据，达到缓冲区的时候恢复播放。
只能说缓冲区设置的越小，在流不稳定的情况下，卡顿次数会更多一些。

问题2： 直播是否可以不要缓冲区？如果要，是不是越小越好？

：平稳的流可以不要缓冲区，如果推流端不稳定，建议还是保持1-3秒缓冲。

看下ffp_check_buffering_l()

if (buf_time_percent >= 0 || buf_size_percent >= 0) {
       buf_percent = FFMAX(buf_time_percent, buf_size_percent);
   }

原生的是

if (buf_time_percent >= 0 && buf_size_percent >= 0) {
        buf_percent = FFMIN(buf_time_percent, buf_size_percent);
    }

原生的不好之处在于，判断size和时间，取最大值，这种方式作为SDK没关系，但最直播而言，不太合适

#define DEFAULT_HIGH_WATER_MARK_IN_BYTES        (256 * 1024)
#define DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS     (100)
#define DEFAULT_NEXT_HIGH_WATER_MARK_IN_MS      (1 * 1000)
#define DEFAULT_LAST_HIGH_WATER_MARK_IN_MS      (5 * 1000)

看定义知道：缓冲区size是256K，time的话是阶梯式的：开始是100ms，然后1s，2s，3s，4s，5s，阶梯上升；
我建议直播最大阀值改成3s可能更好。

 if (need_start_buffering) {
        if (hwm_in_ms < ffp->dcc.next_high_water_mark_in_ms) {
            hwm_in_ms = ffp->dcc.next_high_water_mark_in_ms;
        } else {
            hwm_in_ms *= 2;
        }

        if (hwm_in_ms > ffp->dcc.last_high_water_mark_in_ms)
            hwm_in_ms = ffp->dcc.last_high_water_mark_in_ms;

      //gongjia add.
      if(ffp->blive == 1){  //直播， 如果你选A不要缓冲区的话，这个判断buffer的函数都不会调了，所以也不用改
        if (hwm_in_ms > 3000){
          hwm_in_ms = 3000;
        }
      }

再看下，time的缓冲池是用的音频的呢，还是视频的呢？

 if (video_cached_duration > 0 && audio_cached_duration > 0) {
            cached_duration_in_ms = (int)IJKMIN(video_cached_duration, audio_cached_duration);
        } else if (video_cached_duration > 0) {
            cached_duration_in_ms = (int)video_cached_duration;
        } else if (audio_cached_duration > 0) {
            cached_duration_in_ms = (int)audio_cached_duration;
        }

原来又是用的最小值
换算成百分比就是

 buf_time_percent = (int)av_rescale(cached_duration_in_ms, 1005, hwm_in_ms * 10);

实际上，有些流的video_cached_duration是0，因为流各有差异。
所以一般是用音频的时间作为缓冲buf，基本上size的buffer可以弃用，因为帧率和码率的缘故，size基本不准。

回到问题1，为什么暂停的时候不建议丢帧，因为会造成你刚攒够了数据，达到播放条件的时候，又达到了丢帧的max_cached_duration（我设置的是3s），你说是不是很杯具啊？ 就是你刚领完工资就花没了，是不是感觉人生没有盼望啊？
正所谓：患难生忍耐，忍耐生老练，老练生盼望......(罗马书5:8)

所以说如果你暂停也触发丢帧的话，你可能会卡住比较长的时间，影响体验。

这样改完，基本上就OK了，但还有个不好的体验，就是当主播网络抖动或者别的网络异常时，音频丢帧后，视频会加速播；
问题3： ijkplayer是否可以实现渲染的时候，丢掉待渲染的视频数据，达到跳帧的效果？

我参考别的平台，比如映客和咸蛋家，他们这块做的不错，画面不是加速的，而是切画面。

我思前想后，觉得只能采取两种方式做：

1. 重连
2. 跳帧渲染

重连其实可以不用考虑，因为重连的触发最好是抛ERROR，也可以在COMPELETED的时候重连，但要看具体情况。

你正常的时候重连，这是闹哪样？

我看映客的做法是这样，因为他们是双路流，音视频不同步大概3秒左右，就会重连一下，双路流要处理的逻辑很复杂，双路流我也实现过并上线用了几个月，有好处有坏处，好处就是可以在低网络带宽下，流畅播放音频，坏处就是逻辑变复杂了，会引入bug，如果场景复杂了的话。 这个以后再说。

如果你的主播糟糕的网络持续了很长一段时间（限速上行50KB/S 1-2分钟），播放端肯定就音画不同步，而且短时间很难恢复，这时候如果丢音频帧，追视频帧（画面加速），可能半天才恢复到当前，其实这时候最好是重连一下，免得用户等的久（但这种情况在实际场景中少见，等久一点问题也不大）

言归正传，想想怎么跳帧渲染吧

先分析这个函数: 用于显示每帧画面的

static void video_image_display2(FFPlayer *ffp)
{
    VideoState *is = ffp->is;
    Frame *vp;
    //取出解码后的图像帧pictq
    vp = frame_queue_peek(&is->pictq); 
    if (vp->bmp) {
        //显示每帧图片
        SDL_VoutDisplayYUVOverlay(ffp->vout, vp->bmp);
        ffp->stat.vfps = SDL_SpeedSamplerAdd(&ffp->vfps_sampler, FFP_SHOW_VFPS_FFPLAY, "vfps[ffplay]");
        if (!ffp->first_video_frame_rendered) {
            ffp->first_video_frame_rendered = 1;
            ffp_notify_msg1(ffp, FFP_MSG_VIDEO_RENDERING_START);
        }
    }
}

这样我就可以在显示的时候丢帧了，但是其实并不是这样，因为ijk定义的视频帧队列最大只有3个frame，

// #define VIDEO_PICTURE_QUEUE_SIZE 3
#define VIDEO_PICTURE_QUEUE_SIZE_MIN        (3)
#define VIDEO_PICTURE_QUEUE_SIZE_MAX        (16)
#define VIDEO_PICTURE_QUEUE_SIZE_DEFAULT    (VIDEO_PICTURE_QUEUE_SIZE_MIN)
#define SUBPICTURE_QUEUE_SIZE 16
#define SAMPLE_QUEUE_SIZE 9
#define FRAME_QUEUE_SIZE FFMAX(SAMPLE_QUEUE_SIZE, FFMAX(VIDEO_PICTURE_QUEUE_SIZE_MAX, SUBPICTURE_QUEUE_SIZE))

/* start video display */
if (frame_queue_init(&is->pictq, &is->videoq, ffp->pictq_size, 1) < 0)
        goto fail;
..................

ffp->pictq_size                     = VIDEO_PICTURE_QUEUE_SIZE_DEFAULT; // 3
..................

static int frame_queue_init(FrameQueue *f, PacketQueue *pktq, int max_size, int keep_last)
{
    int i;
    memset(f, 0, sizeof(FrameQueue));
    if (!(f->mutex = SDL_CreateMutex())) {
        av_log(NULL, AV_LOG_FATAL, "SDL_CreateMutex(): %s\n", SDL_GetError());
        return AVERROR(ENOMEM);
    }
    if (!(f->cond = SDL_CreateCond())) {
        av_log(NULL, AV_LOG_FATAL, "SDL_CreateCond(): %s\n", SDL_GetError());
        return AVERROR(ENOMEM);
    }
    f->pktq = pktq;
    f->max_size = FFMIN(max_size, FRAME_QUEUE_SIZE);  //视频帧队列是3
    f->keep_last = !!keep_last;
    for (i = 0; i < f->max_size; i++)
        if (!(f->queue[i].frame = av_frame_alloc()))
            return AVERROR(ENOMEM);
    return 0;
}


  

如果你用默认值，你一次只能丢两个frame，即使你改成VIDEO_PICTURE_QUEUE_SIZE_MAX，也不过丢16个帧，1s左右
其实也不能满足我跳帧的需求

我增加一个清除frame接口

static void frame_queue_flush(FrameQueue *f)
{
    SDL_LockMutex(f->mutex);
    int i;
    
    av_log(NULL, AV_LOG_ERROR, "[gdebug %s: %d] f->max_size = %d\n", __FUNCTION__, __LINE__, f->max_size);
            
    for (i = 0; i < f->max_size; i++) {
        Frame *vp = &f->queue[i];
        frame_queue_unref_item(vp);
        av_frame_free(&vp->frame);
        free_picture(vp);
    }
    SDL_UnlockMutex(f->mutex);
}

如果我把f->max_size 设置的无比大，比如30,60，那么读到的包会源源不断的来解码，然后显示，这样会不会有问题呢？

f->max_size 超过16会有问题。

跳帧渲染貌似暂时行不通，那还是先丢解码前的视频包吧；

后记：关于抖动缓冲区 JitterBuffer##

抖动缓冲区用于解决直播时网络抖动的问题，读者可以自行尝试。
所谓网络抖动，就是网络延迟一会大一会小，在这种情况下，即使发送方是定时发送数据包的（比如每100ms发送一个包），而接收方的接收就无法同样定时了，有时一个周期内一个包都接收不到，有时一个周期内接收到好几个包。如此，导致接收方听到的声音就是一卡一卡的。
JitterBuffer工作于解码器之后，语音播放之前的环节。即语音解码完成后，将解码帧放入JitterBuffer，声卡的播放回调到来时，从JitterBuffer中取出最老的一帧进行播放。

JitterBuffer.png

JitterBuffer的缓冲深度取决于网络抖动的程度，网络抖动越大，缓冲深度越大，播放音频的延迟就越大。所以，JitterBuffer是利用了较高的延迟来换取声音的流畅播放的，因为相比声音一卡一卡来说，稍大一点的延迟但更流畅的效果，其主观体验要更好。
当然，JitterBuffer的缓冲深度不是一直不变的，而是根据网络抖动程度的变化而动态调整的。当网络恢复到非常平稳通畅时，缓冲深度会非常小，这样因为JitterBuffer而增加的播放延迟就可以忽略不计了。

欢迎打赏#