Android IjkMediaPlayer编译支持RTSP播放,降低延时500ms左右,从无到有开始搭建环境

搭建好虚拟机编译环境,准备CentOS ,NDK-12b,git-2.15.1;
编译IjkMediaPlayer事先得安装好关联的lib库;可直接通过yum命令安装:

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install gcc perl-ExtUtils-MakeMaker
yum install perl-ExtUtils-MakeMaker package
安装yasm库;

wget http://www.tortall.net/projects/yasm/releases/yasm-1.3.0.tar.gz
tar zxvf yasm-1.3.0.tar.gz
cd yasm-1.3.0
./configure
make && make install
安装git ,自带的git版本1.7太低,有些git命令不支持,最好先移除;

git --version
yum remove git
下载高版本git安装;

cd /usr/local/src/
wget https://www.kernel.org/pub/software/scm/git/git-2.15.1.tar.xz
tar -vxf git-2.15.1.tar.xz
cd git-2.15.1
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/profile
source /etc/profile
安装需要最高权限,切换自己root账户 安装

安装nkd 版本选择r12b 试过其他版本,安装toolchain会出错,

去官网下载解压,保存环境变量即可。

Android 使用ijkplayer需实现交叉编译动态库,需安装toolchain,进入Android ndk根目录


cd build/tool/

./make-standalone-toolchain.sh --arch=arm
--platform=android-19
--ndk-dir=/home/cmm/Desktop/android-ndk-r12b
--install-dir=/home/cmm/android-toolchain
--toolchain=arm-linux-androideabi-4.9


ndk-dir是ndk路径,这个必须要,不然安装失败没有任何提示,install-dir安装toolchain的保存目录;

ijkplayer编译需要的环境,以及相关联的库都安装完毕。

编译IjkMediaPlayer

git官网路径https://github.com/Bilibili/ijkplayer下载文件到本地

git clone https://github.com/Bilibili/ijkplayer.git ijkplayer-android
cd ijkplayer-android
git checkout -B latest k0.8.8
./init-android.sh
这个过程需要下ffmpeg文件,需等待一段时间

下载完成进入config目录,指定编译的格式与配置之类。修改配置支持RTSP

[cmm@localhost ijkplayer-android]cd config/ [cmm@localhost config] ls
module-default.sh module-lite-hevc.sh module-lite.sh module.sh
先删除modelu.sh rm -r module.sh

修改module-lite.sh 中配置项 vim module-lite.sh中添加如下配置

export COMMON_FF_CFG_FLAGS="COMMON_FF_CFG_FLAGS --enable-demuxer=rtsp" export COMMON_FF_CFG_FLAGS="COMMON_FF_CFG_FLAGS --enable-demuxer=sdp"
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-demuxer=rtp"
修改配置:

export COMMON_FF_CFG_FLAGS="COMMON_FF_CFG_FLAGS --enable-protocol=rtp" export COMMON_FF_CFG_FLAGS="COMMON_FF_CFG_FLAGS --enable-protocol=tcp"
保存退出。执行以下命令

rm module.sh
ln -s module-lite.sh module.sh
该命令有可能会出现module.sh中遗漏,因此对比下module-lite.sh是否与module.sh一致

降低延时编译,修改ff_ffplay.c文件 进入目录cd ijkmedia/ijkplayer/ 修改ff_ffplay.c文件

修改其中packet_queue_get_or_buffering方法 如下:

static int packet_queue_get_or_buffering(FFPlayer *ffp, PacketQueue *q, AVPacket *pkt, int *serial, int finished)
{
while (1) {
int new_packet = packet_queue_get(q, pkt, 1, serial);
if (new_packet < 0){
new_packet = packet_queue_get(q, pkt, 0, serial);
if(new_packet < 0)
return -1;
} else if (new_packet == 0) {
if (!finished)
ffp_toggle_buffering(ffp, 1);
new_packet = packet_queue_get(q, pkt, 1, serial);
if (new_packet < 0)
return -1;
}

    if (finished == *serial) {
        av_free_packet(pkt);
        continue;
    } else {
        break;
    }
        
}
return 1;

}
修改此处方法编译测试发现视频播放还是存在一秒左右的延时,达不到预计效果,则继续修改vp_duration方法 ,如下:

static double vp_duration(VideoState *is, Frame vp, Frame nextvp) {
/
if (vp->serial == nextvp->serial) {
double duration = nextvp->pts - vp->pts;
if (isnan(duration) || duration <= 0 || duration > is->max_frame_duration)
return vp->duration;
else
return duration;
} else {
return 0.0;
}
/
return vp->duration;
}
直接return;修改ffplay_video_thread方法:

static int ffplay_video_thread(void *arg)
{
FFPlayer *ffp = arg;
VideoState *is = ffp->is;
AVFrame *frame = av_frame_alloc();
double pts;
double duration;
int ret;
AVRational tb = is->video_st->time_base;

//AVRational frame_rate = av_guess_frame_rate(is->ic, is->video_st, NULL);
int64_t dst_pts = -1;
int64_t last_dst_pts = -1;
int retry_convert_image = 0;
int convert_frame_count = 0;

if CONFIG_AVFILTER

AVFilterGraph *graph = avfilter_graph_alloc();
AVFilterContext *filt_out = NULL, *filt_in = NULL;
int last_w = 0;
int last_h = 0;
enum AVPixelFormat last_format = -2;
int last_serial = -1;
int last_vfilter_idx = 0;
if (!graph) {
    av_frame_free(&frame);
    return AVERROR(ENOMEM);
}

else

ffp_notify_msg2(ffp, FFP_MSG_VIDEO_ROTATION_CHANGED, ffp_get_video_rotate_degrees(ffp));

endif

if (!frame) {

if CONFIG_AVFILTER

    avfilter_graph_free(&graph);

endif

    return AVERROR(ENOMEM);
}

for (;;) {
    ret = get_video_frame(ffp, frame);
    if (ret < 0)
        goto the_end;
    if (!ret)
        continue;

    if (ffp->get_frame_mode) {
        if (!ffp->get_img_info || ffp->get_img_info->count <= 0) {
            av_frame_unref(frame);
            continue;
        }

        last_dst_pts = dst_pts;

        if (dst_pts < 0) {
            dst_pts = ffp->get_img_info->start_time;
        } else {
            dst_pts += (ffp->get_img_info->end_time - ffp->get_img_info->start_time) / (ffp->get_img_info->num - 1);
        }

        pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb);
        pts = pts * 1000;
        if (pts >= dst_pts) {
            while (retry_convert_image <= MAX_RETRY_CONVERT_IMAGE) {
                ret = convert_image(ffp, frame, (int64_t)pts, frame->width, frame->height);
                if (!ret) {
                    convert_frame_count++;
                    break;
                }
                retry_convert_image++;
                av_log(NULL, AV_LOG_ERROR, "convert image error retry_convert_image = %d\n", retry_convert_image);
            }

            retry_convert_image = 0;
            if (ret || ffp->get_img_info->count <= 0) {
                if (ret) {
                    av_log(NULL, AV_LOG_ERROR, "convert image abort ret = %d\n", ret);
                    ffp_notify_msg3(ffp, FFP_MSG_GET_IMG_STATE, 0, ret);
                } else {
                    av_log(NULL, AV_LOG_INFO, "convert image complete convert_frame_count = %d\n", convert_frame_count);
                }
                goto the_end;
            }
        } else {
            dst_pts = last_dst_pts;
        }
        av_frame_unref(frame);
        continue;
    }

if CONFIG_AVFILTER

    if (   last_w != frame->width
        || last_h != frame->height
        || last_format != frame->format
        || last_serial != is->viddec.pkt_serial
        || ffp->vf_changed
        || last_vfilter_idx != is->vfilter_idx) {
        SDL_LockMutex(ffp->vf_mutex);
        ffp->vf_changed = 0;
        av_log(NULL, AV_LOG_DEBUG,
               "Video frame changed from size:%dx%d format:%s serial:%d to size:%dx%d format:%s serial:%d\n",
               last_w, last_h,
               (const char *)av_x_if_null(av_get_pix_fmt_name(last_format), "none"), last_serial,
               frame->width, frame->height,
               (const char *)av_x_if_null(av_get_pix_fmt_name(frame->format), "none"), is->viddec.pkt_serial);
        avfilter_graph_free(&graph);
        graph = avfilter_graph_alloc();
        if ((ret = configure_video_filters(ffp, graph, is, ffp->vfilters_list ? ffp->vfilters_list[is->vfilter_idx] : NULL, frame)) < 0) {
            // FIXME: post error
            SDL_UnlockMutex(ffp->vf_mutex);
            goto the_end;
        }
        filt_in  = is->in_video_filter;
        filt_out = is->out_video_filter;
        last_w = frame->width;
        last_h = frame->height;
        last_format = frame->format;
        last_serial = is->viddec.pkt_serial;
        last_vfilter_idx = is->vfilter_idx;
        //frame_rate = av_buffersink_get_frame_rate(filt_out);
        SDL_UnlockMutex(ffp->vf_mutex);
    }

    ret = av_buffersrc_add_frame(filt_in, frame);
    if (ret < 0)
        goto the_end;

    while (ret >= 0) {
        is->frame_last_returned_time = av_gettime_relative() / 1000000.0;

        ret = av_buffersink_get_frame_flags(filt_out, frame, 0);
        if (ret < 0) {
            if (ret == AVERROR_EOF)
                is->viddec.finished = is->viddec.pkt_serial;
            ret = 0;
            break;
        }

        is->frame_last_filter_delay = av_gettime_relative() / 1000000.0 - is->frame_last_returned_time;
        if (fabs(is->frame_last_filter_delay) > AV_NOSYNC_THRESHOLD / 10.0)
            is->frame_last_filter_delay = 0;
        tb = av_buffersink_get_time_base(filt_out);

endif

        //duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0);
        duration = 0.01;
        pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb);
        ret = queue_picture(ffp, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial);
        av_frame_unref(frame);

if CONFIG_AVFILTER

    }

endif

    if (ret < 0)
        goto the_end;
}

the_end:

if CONFIG_AVFILTER

avfilter_graph_free(&graph);

endif

av_log(NULL, AV_LOG_INFO, "convert image convert_frame_count = %d\n", convert_frame_count);
av_frame_free(&frame);

return 0;

}
该方法是直接修改duration 等于0.01即可。修改完善

编译测试播放视频延时在500ms左右,预计效果

接下来就是去编译

[cmm@localhost config]cd .. [cmm@localhost ijkplayer-android] cd android/contrib/
[cmm@localhost contrib]./compile-ffmpeg.sh clean [cmm@localhost contrib] ./compile-ffmpeg.sh all
等待编译,编译需要一定时间,相关联库只要安装完善,编译应是正常,若出现库确实,重新安装再次编译即可

编译完成之后,编译Android 库

[cmm@localhost contrib]cd .. [cmm@localhost android] ./compile-ijk.sh all
all编译所有平台的库

Android studio中使用该库

引入

implementation 'tv.danmaku.ijk.media:ijkplayer-exo:0.8.8'
在jniLibs中加入编译平台的so

初始化属性:

    IjkMediaPlayer.loadLibrariesOnce(null);
    IjkMediaPlayer.native_profileBegin("libijkplayer.so");
    ijkMediaPlayer = new IjkMediaPlayer();
    ijkMediaPlayer.setLogEnabled(false);

    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "analyzemaxduration", 100L);
    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "probesize", 10240L);
    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "flush_packets", 1L);
    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "packet-buffering", 0L);
    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "framedrop", 1L);

    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "rtsp_transport", "tcp");

// ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "framedrop", 60);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "max-fps", 0);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "fps", 30);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_CODEC, "skip_loop_filter", 48);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "overlay-format", IjkMediaPlayer.SDL_FCC_YV12);
// ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "packet-buffering", 0);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "fflags", "nobuffer");
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "max-buffer-size", 1024);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "min-frames", 10);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "start-on-prepared", 1);
// ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "probsize", "4096");
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "analyzeduration", "2000000");

    ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "http-detect-range-support", 0);

至此整个编译完成,播放RTSP延时在500ms内,

编译的so库以及修改的配置文件和代码下载:

https://download.csdn.net/download/qq_19317197/10729813

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,012评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,589评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,819评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,652评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,954评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,381评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,687评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,404评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,082评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,249评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,864评论 3 232
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2 259

推荐阅读更多精彩内容