FFmpeg - 打造一款万能的音乐播放器

从 c/c++ 基础、jni 基础、c/c++ 进阶、数据结构和算法、linux 内核、CMake 语法、Shell 脚本绕了一大圈之后，总算是勉强可以来写 FFmpeg 了，以上这些基础大家可以看下之前的文章：

效果演示

今天带大家来实现一个比较常见的功能，像 QQ音乐、酷狗音乐、网易云音乐这样的一些应用，都涉及到音乐的播放。首先我们来介绍一下需要用到的一些函数，刚开始大家只需要知道他们怎么用，用来干什么的基本就足够了，渐渐到后面再去了解源码，再去深入手写算法。先来看一张流程图：

解码流程
  • av_register_all()：的作用是初始化所有组件，只有调用了该函数，才能使用复用器和编解码器（源码）
  • avformat_open_input()/avformat_close_input(): 函数会读文件头，对 mp4 文件而言，它会解析所有的 box。但它知识把读到的结果保存在对应的数据结构下。这个时候，AVStream 中的很多字段都是空白的。
  • av_dump_format(): 打印视音频信息
  • avformat_find_stream_info()：读取一部分视音频数据并且获得一些相关的信息，会检测一些重要字段，如果是空白的，就设法填充它们。因为我们解析文件头的时候，已经掌握了大量的信息，avformat_find_stream_info 就是通过这些信息来填充自己的成员，当重要的成员都填充完毕后，该函数就返回了。这中情况下，该函数效率很高。但对于某些文件，单纯的从文件头中获取信息是不够的，比如 video 的 pix_fmt 是需要调用 h264_decode_frame 才可以获取其pix_fmt的。
  • av_find_best_stream(): 获取音视频及字幕的 stream_index , 以前没有这个函数时，我们一般都是写的 for 循环。
  • av_packet_free(): 首先将 AVPacket 指向的数据域的引用技术减1（数据域的引用技术减为0时会自动释放） 接着，释放为 AVPacket 分配的空间。
  • av_packet_unref(): 减少数据域的引用技术，当引用技术减为0时，会自动释放数据域所占用的空间。

1. 获取音频 Meta 信息

就在前几天有同学问了我一个问题，对于 amr 格式的音频文件而言，我如何去获取它的采样率以及是否是单通道。如果用 ffmpeg 那很 easy 就能解决，但问题是不会，那么我们就只能用其他的第三方库。当然如果你了解其原理，甚至可以自己分析二进制文件。

extern "C"
JNIEXPORT void JNICALL
Java_com_darren_ndk_day03_NativeMedia_printAudioInfo(JNIEnv *env, jclass j_cls, jstring url_) {
    const char *url = env->GetStringUTFChars(url_, 0);

    av_register_all();

    AVFormatContext *avFormatContext = NULL;
    int audio_stream_idx;
    AVStream *audio_stream;

    int open_res = avformat_open_input(&avFormatContext, absolutePath, NULL, NULL);
    if (open_res != 0) {
        LOGE("Can't open file: %s", av_err2str(open_res));
        return;
    }
    int find_stream_info_res = avformat_find_stream_info(avFormatContext, NULL);
    if (find_stream_info_res < 0) {
        LOGE("Find stream info error: %s", av_err2str(find_stream_info_res));
        goto __avformat_close;
    }

    // 获取采样率和通道
    audio_stream_idx = av_find_best_stream(avFormatContext, AVMediaType::AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
    if (audio_stream_idx < 0) {
        LOGE("Find audio stream info error: %s", av_err2str(find_stream_info_res));
        goto __avformat_close;
    }
    audio_stream = avFormatContext->streams[audio_stream_idx];
    LOGE("采样率：%d, 通道数: %d", audio_stream->codecpar->sample_rate, audio_stream->codecpar->channels);

    __avformat_close:
    avformat_close_input(&avFormatContext);
    env->ReleaseStringUTFChars(url_, url);
}

2. 解码音频数据

关于解码函数 avcodec_decode_audio4 已经过时了，取而代之的是 avcodec_send_packet 和 avcodec_receive_frame 。

    // 这个方法过时了
    // pCodecContext = av_format_context->streams[video_stream_idx]->codec;
    pCodecParameters = av_format_context->streams[audio_stream_idx]->codecpar;
    // 查找解码器
    pCodec = avcodec_find_decoder(pCodecParameters->codec_id);
    if (!pCodec) {
        LOGE("Can't find audio decoder : %s", url);
        goto __avresource_close;
    }

    // 初始化创建 AVCodecContext
    pCodecContext = avcodec_alloc_context3(pCodec);
    codecContextParametersRes = avcodec_parameters_to_context(pCodecContext, pCodecParameters);
    if (codecContextParametersRes < 0) {
        LOGE("codec parameters to_context error : %s, %s", url,av_err2str(codecContextParametersRes));
        goto __avresource_close;
    }

    // 打开解码器
    codecOpenRes = avcodec_open2(pCodecContext, pCodec, NULL);
    if (codecOpenRes < 0) {
        LOGE("codec open error : %s, %s", url, av_err2str(codecOpenRes));
        goto __avresource_close;
    }

    // 提取每一帧的音频流
    avPacket = av_packet_alloc();
    avFrame = av_frame_alloc();
    while (av_read_frame(av_format_context, avPacket) >= 0) {
        if (audio_stream_idx == avPacket->stream_index) {
            // 可以写入文件、截取、重采样、解码等等 avPacket.data
            sendPacketRes = avcodec_send_packet(pCodecContext, avPacket);
            if (sendPacketRes == 0) {
                receiveFrameRes = avcodec_receive_frame(pCodecContext, avFrame);
                if (receiveFrameRes == 0) {
                    LOGE("解码第 %d 帧", index);
                }
            }
            index++;
        }
        // av packet unref
        av_packet_unref(avPacket);
        av_frame_unref(avFrame);
    }

    // 释放资源 ============== start
    av_packet_free(&avPacket);
    av_frame_free(&avFrame);

    __avresource_close:

    if(pCodecContext != NULL){
        avcodec_close(pCodecContext);
        avcodec_free_context(&pCodecContext);
    }
    
    if (av_format_context != NULL) {
        avformat_close_input(&av_format_context);
        avformat_free_context(av_format_context);
    }
    
    env->ReleaseStringUTFChars(url_, url);
    // 释放资源 ============== end

3. 播放音频

播放 pcm 数据目前比较流行的有两种方式，一种是通过 Android 的 AudioTrack 来播放，另一种是采用跨平台的 OpenSLES 来播放，个人比较倾向于用更加高效的 OpenSLES 来播放音频，大家可以先看看 Google 官方的 native-audio 事例，后面我们写音乐播放器时，会采用 OpenSLES 来播放音频。但这里我们还是采用 AudioTrack 来播放


jobject initCreateAudioTrack(JNIEnv *env) {
    jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack");
    jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass, "<init>", "(IIIIII)V");

    //  public static final int STREAM_MUSIC = 3;
    int streamType = 3;
    int sampleRateInHz = 44100;
    // public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT);
    int channelConfig = (0x4 | 0x8);
    // public static final int ENCODING_PCM_16BIT = 2;
    int audioFormat = 2;
    // getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat)
    jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I");
    int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat);
    // public static final int MODE_STREAM = 1;
    int mode = 1;
    jobject jAudioTrack = env->NewObject(jAudioTrackClass, jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode);

    // play()
    jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass, "play", "()V");
    env->CallVoidMethod(jAudioTrack, jPlayMid);

    return jAudioTrack;
}

{
    // 初始化重采样 ====================== start
    swrContext = swr_alloc();
    //输入的采样格式
    inSampleFmt = pCodecContext->sample_fmt;
    //输出采样格式16bit PCM
    outSampleFmt = AV_SAMPLE_FMT_S16;
    //输入采样率
    inSampleRate = pCodecContext->sample_rate;
    //输出采样率
    outSampleRate = AUDIO_SAMPLE_RATE;
    //获取输入的声道布局
    //根据声道个数获取默认的声道布局（2个声道，默认立体声stereo）
    inChLayout = pCodecContext->channel_layout;
    //输出的声道布局（立体声）
    outChLayout = AV_CH_LAYOUT_STEREO;

    swr_alloc_set_opts(swrContext, outChLayout, outSampleFmt, outSampleRate, inChLayout,
            inSampleFmt, inSampleRate,0, NULL);

    resampleOutBuffer = (uint8_t *) av_malloc(AUDIO_SAMPLES_SIZE_PER_CHANNEL);
    outChannelNb = av_get_channel_layout_nb_channels(outChLayout);
    dataSize = av_samples_get_buffer_size(NULL, outChannelNb,pCodecContext->frame_size,
            outSampleFmt, 1);

    if (swr_init(swrContext) < 0) {
        LOGE("Failed to initialize the resampling context");
        return;
    }
    // 初始化重采样 ====================== end

    // 提取每一帧的音频流
    avPacket = av_packet_alloc();
    avFrame = av_frame_alloc();
    while (av_read_frame(av_format_context, avPacket) >= 0) {
        if (audio_stream_idx == avPacket->stream_index) {
            // 可以写入文件、截取、重采样、解码等等 avPacket.data
            sendPacketRes = avcodec_send_packet(pCodecContext, avPacket);
            if (sendPacketRes == 0) {
                receiveFrameRes = avcodec_receive_frame(pCodecContext, avFrame);

                if(receiveFrameRes == 0){
                    // 往 AudioTrack 对象里面塞数据  avFrame->data -> jbyte;
                    swr_convert(swrContext, &resampleOutBuffer, avFrame->nb_samples,
                            (const uint8_t **) avFrame->data, avFrame->nb_samples);

                    jbyteArray jPcmDataArray = env->NewByteArray(dataSize);
                    jbyte *jPcmData = env->GetByteArrayElements(jPcmDataArray, NULL);
                    memcpy(jPcmData, resampleOutBuffer, dataSize);
                    // 同步刷新到 jbyteArray ，并释放 C/C++ 数组
                    env->ReleaseByteArrayElements(jPcmDataArray, jPcmData, 0);

                    // call java write
                    env->CallIntMethod(audioTrack, jWriteMid, jPcmDataArray, 0, dataSize);

                    // 解除 jPcmDataArray 的持有，让 javaGC 回收
                    env->DeleteLocalRef(jPcmDataArray);
                }
            }
            index++;
        }
        // av packet unref
        av_packet_unref(avPacket);
        av_frame_unref(avFrame);
    }

}
  • 刚开始看源码时，我们一般无法彻底的搞懂函数的方方面面，但是，通过源码分析，能更好的理解了这个函数的功能，对这个函数做的事情也会有一定的了解。至于那些搞不懂的，就只能留着以后慢慢研究了。比如 avformat_find_stream_info() 函数会计算 start_time，波特率等信息，其中时间相关的计算很复杂，如果刚开始没能看懂，可以以后慢慢再去啃。
  • 我在网上看了一些例子，大家基本都是一套模子的代码，而且运行时内存在蹭蹭的往上涨，当然早期我也犯过同样类似的错误。因此我想提醒大家是，最好还是要能理解其中的原理，网上直接拿过来的代码可能会有些问题，包括我写的代码可能也会有些问题，需要大家多留个心眼多一些思考。
  • 上面的代码只是一个事例，它并不能用到真正的项目中，关于多线程边解码边播放，关于怎样使用 OpenSL ES 播放 PCM 数据，怎样添加加载、播放、暂停等状态功能，怎样实现声道变化，怎样变速变调，怎样 seek 等等。后面我们都会手把手一起来完善的，且会将代码开源到我的个人 github，供大家参考和学习。

视频地址：https://pan.baidu.com/s/1CbXdB9kzvvSTozeFD2ZRHw
视频密码：cse5

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 159,458评论 4赞 363
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,454评论 1赞 294
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 109,171评论 0赞 243
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,062评论 0赞 207
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,440评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,661评论 1赞 219
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,906评论 2赞 313
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,609评论 0赞 200
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,379评论 1赞 246
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2赞 246
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1赞 261
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,409评论 2赞 254
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,072评论 3赞 237
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0赞 195
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2赞 276
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2赞 270