FFmpeg: 抽取音视频数据


前言


上一篇博客我们聊了一下如何使用FFmpeg的命令来实现各种需求,从这篇博客我们将一起来看一下如何使用使用FFmpeg代码实现各种需求,而这一篇博客我们主要来说一下如何使用FFmpeg抽取音视频数据。


正文


说代码之前,我们先用一张流程图表明具体的操作过程。如下所示。

通过上图我们可以知道,我们需要两个流,一个输出流和一个空白输入流,我们把输入流中的数据拷贝到输出流中即可。但是里面所用到的函数较多,我们需要逐一分析,后面博客我们就不会对这些函数进一步讲解了。


  • 注册所有的音视频编解码。(旧版中需要使用,在新版中加入会有警告。)
    av_register_all();

注:为什么在新版本中不需要通过av_register_all()来注册所有编码器呢?这是因为在新的版本中,解码器和编码器的初始化都是通过定义全局变量来初始化的。所以我们不需要使用av_register_all()来初始化所有的编解码。这里就不过多叙述了

具体的分析博客可以看 新版本ffmpeg源码简单分析:av_register_all()


  • 打开输入流文件。
    result = avformat_open_input(&fmt_ctx, inputFilePath, NULL, NULL);

avformat_open_input 函数中,返回值类型为int,如果返回值小于0,那么就是打开失败。第一个参数是类型为AVFormatContext的格式上下文。第二个参数是媒体的地址。第三个是输入格式参数,可以为NULL。第四个参数是选项参数,是一个类似于Key-Value形式的结构体。


  • 寻找到最好的输出流下标,并且根据流的下标取到对应的流信息。
    best_steam_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
    //拿到文件中音频流
    inputSteam = fmt_ctx->streams[best_steam_index];

媒体中是有流的概念,一个媒体文件可能有多路流,比如视频流,音频流,弹幕流等等各种流。我们需要从中找出最合适的流。av_find_best_stream这个能帮助我们流文件的下标,然后我们可以从 fmt_ctx→steams 中找到我们所需要的流。

如果抽离音频就用 AVMEDIA_TYPE_AUDIO,如果抽取视频就用 AVMEDIA_TYPE_VIDEO,这样就能取到对应的流下标。


  • 初始化输出上下文和输出流,以及配置一个最合适的媒体格式。
    ofmt_ctx = avformat_alloc_context();
    // 配置媒体格式
    output_fmt = av_guess_format(NULL, outFilePath, NULL);
    ofmt_ctx->oformat = output_fmt;
    // 初始化输出流
   outSteam = avformat_new_stream(ofmt_ctx, NULL);

这一步没有什么好说的,主要是对输出上下文和输出流进行初始化操作。并且要把媒体格式初始化,通过ofmt_ctx→oformat = output_fmt配置到输出上下文中。


  • 将输入流的参数信息拷贝到输出流中。
    AVCodecParameters *in_codecpar = inputSteam->codecpar;
    
    if((result = avcodec_parameters_copy(outSteam->codecpar, in_codecpar)) < 0 ){
        av_log(NULL, AV_LOG_ERROR,"拷贝编码参数失败");
        return result;
    }

我们首先先从输入流中拿到参数信息,然后通过 然后通过avcodec_parameters_copy函数将参数信息拷贝到输出流中。 由于我们不需要做音视频的处理,所以我们只需要参数信息拷贝到输出流中即可。


  • 初始化输出上下文中的AVIOContext。
    if((result = avio_open(&ofmt_ctx->pb, outFilePath, AVIO_FLAG_WRITE)) < 0) {
        av_log(NULL, AV_LOG_ERROR,"不能打开输出文件");
        return result;
    }

这一步操作主要是初始化输出上下文中的文件IO上下文。


  • 往输出上下文中写入媒体头信息。
    if (avformat_write_header(ofmt_ctx, NULL) < 0) {
        av_log(NULL, AV_LOG_ERROR,"写入文件头失败");
        return result;
    }

通过avformat_write_header函数我们可以直接往输出上下文中写入媒体头信息。


  • 🔆🔆🔆循环读取输入上下文中每一帧数据并把它写到输出上下文中。🔆🔆🔆
    while(av_read_frame(fmt_ctx, &pkt) >=0 ){
        if(pkt.stream_index == best_steam_index){
            //时间基计算,音频pts和dts一致
            pkt.pts = av_rescale_q_rnd(pkt.pts, inputSteam->time_base, outSteam->time_base, (AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
            pkt.dts = pkt.pts;
            pkt.duration = av_rescale_q(pkt.duration, inputSteam->time_base, outSteam->time_base);
            pkt.pos = -1;
            pkt.stream_index = 0;
            //将包写到输出媒体文件
            av_interleaved_write_frame(ofmt_ctx, &pkt);
            //减少引用计数,避免内存泄漏
            av_packet_unref(&pkt);
        }
    }

这是抽取音视频代码中最核心的一部分,也是最后一个步骤,那么就是循环把输入上下文中合适的包数据写到输出上下文中。同时要注意时间基的转化问题。


总结


本次的博客就到这里了,欢迎各位大佬批评指导,谢谢。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容