十分钟完成安卓MediaCodec视频解码

码字辛苦！转载请注明出处！

0.前言

MediaCodec是安卓自带的视频编解码工具，由于使用的是硬解码，其效率相对FFMPEG高出来不少。

但由于部分厂商的解码器的设计，在某些手机上，H.264解码帧会缓存几帧再渲染，造成7帧左右的延迟现象。如果对解码实时性要求较高，可以通过减少IDR帧间隔来解决（三星的Exynos解码器除外）。

首先不得不说，MediaCodec的使用相对于其他解码工具要繁琐不少，如果你只是需要播放一个本地或服务器上的视频文件，那么请不要犹豫出门右转MediaPlayer，图为MediaPlayer支持的网络格式。


MediaPlayer支持的网络格式

MediaCodec的使用场景是：当你的项目需要用加密的协议来传输视频流，或者需要和视频裸流打交道的时候。

那么，阅读了上面这些啰嗦话，仍然决定要使用MediaCodec的话，就继续读下去吧

1.创建解码器

和JAVA大多数类的使用方式一样，MediaCodec也是从创建对象开始的，不不不，不是new一个MediaCodec，而是使用它自带的方法createDecoderByType：

        //首先我们需要一个显示视频的SurfaceView
        SurfaceView surfaceView;
 
        //根据视频编码创建解码器，这里是解码AVC编码的视频
        MediaCodec mediaCodec = MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
 
        //设置宽高，初始化时设置为最小宽高
        width = 128;
        height = 128;
 
        //创建视频格式信息
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(mimeType, width, height);
 
        //！！！注意，这行代码需要界面绘制完成之后才可以调用！！！
        mediaCodec.configure(mediaFormat, surfaceView.getHolder().getSurface(), null, 0);
        mediaCodec.start();

注意，surfaceView的Holder是在界面绘制完成后才可以使用的，如果你把configure方法写在OnCreate里面……等着崩吧~


当然，如果你想要进入页面就开始解码的话，诶也不是不可以~

configure方法写在SurfaceView的生命周期里就好了：

SurfaceView.getHolder().addCallback(new SurfaceHolder.Callback() {
            @Override
            public void surfaceCreated(SurfaceHolder surfaceHolder) {
                mediaCodec.configure(mediaFormat, surfaceHolder.getSurface(), null, 0);
                mediaCodec.start();
            }
 
            @Override
            public void surfaceChanged(SurfaceHolder surfaceHolder, int i, int i1, int i2) {
            }
 
            @Override
            public void surfaceDestroyed(SurfaceHolder surfaceHolder) {
                stop();
            }
        });

MediaCodec支持的编码可以在MediaFormat类的常量中找到：

2.编写解码函数

首先要准备好MediaCodec.BufferInfo，
这个类在整个解码过程中都只要使用一个实例，
因此只要放在初始化方法里就好（onCreate也行）：

   MediaCodec.BufferInfo mediaCodecBufferInfo = new MediaCodec.BufferInfo();

接下来编写解码函数：

   //为减少卡顿，此方法应在子线程下被执行
   public void onFrame(byte[] buf) {
           try {
               //获取MediaCodec的输入流
               ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
               //设置解码等待时间，0为不等待，-1为一直等待，其余为时间单位
               int inputBufferIndex = mediaCodec.dequeueInputBuffer(0);
               //填充数据到输入流
               if (inputBufferIndex >= 0) {
               ByteBuffer inputBuffer;
               if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.LOLLIPOP) {
                   inputBuffer = mediaCodec.getInputBuffer(inputBufferIndex);
               } else {
                   //兼容安卓5.0以下，如不需要可以删掉
                   inputBuffer = mediaCodec.getInputBuffers()[inputBufferIndex];
               }
               inputBuffer.put(buf);
               mediaCodec.queueInputBuffer(inputBufferIndex, 0, length, stamp, 0);
                   inputBuffer.put(buf, 0, buf.length);
                   mediaCodec.queueInputBuffer(inputBufferIndex, 0, buf.length, System.nanoTime() , 0);
               }
               //解码数据到surface，实际项目中最好将以下代码放入另一个线程，不断循环解码以降低延迟
               int outputBufferIndex = mediaCodec.dequeueOutputBuffer(mediaCodecBufferInfo, 0);
               if (outputBufferIndex >= 0) {
                   mediaCodec.releaseOutputBuffer(outputBufferIndex, true);
               } else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                   //此处可以或得到视频的实际分辨率，用以修正宽高比
                   //fixHW();
               }
           } catch (IllegalStateException e) {
               e.printStackTrace();
           }
      
   }

由于其中包含对数据流的操作，请将这个方法写在子线程里。

在解码时可能会涉及到线程冲突、解码失败的问题，所以这个方法要catch掉IllegalStateException，不然~

代码中注释写的很完整，这里就不多赘述了【反正你们其实就是想复制粘贴是吧！

到这里，你已经完成了解码操作了，对，就是这么简单！

3.内存回收

你以为到这里就结束了吗？科科~

因为MediaCodec是硬解码，底层当然是用C语言实现的啦。

对于这种C语言实现的方法，用完了一定要记得回收！

        if (mediaCodec != null) {
            //停止解码，此时可以再次调用configure()方法
            mediaCodec.stop();
            //释放内存
            mediaCodec.release();
        }

这里的Stop方法只是停止解码，因此调用后，你可以调用configure()更换分辨率重新start()开始解码。

更改分辨率前必须调用stop！！！

4.保持纵横比

完成解码之后，你会发现，MediaCodec这坑爹玩意儿居然默认是拉伸到满屏的，那么如果要保持屏幕纵横比怎么办？

MediaCodec自带了一个设置缩放模式的方法：

   //此方法必须在configure和start之后执行才有效
   mediaCodec.setVideoScalingMode(MediaCodec.VIDEO_SCALING_MODE_SCALE_TO_FIT_WITH_CROPPING);

再次强调，这个方法必须在configure和start之后执行才有效！！！

调用这个方法之后，MediaCodec会把视频剪到满屏，对没错，剪到满屏。

如果你想要电影那种上下黑边的效果，唯有在SurfaceView外套一层黑色的布局，把SurfaceView居中。

然后通过修改layoutParams的方法来更改SurfaceView的大小，以此来达到保持纵横比又不被剪掉的情况下拉直满屏。

我已经在Stack Overflow上求证过，确实是只有这一个办法，硬着头皮上吧（代码量庞大注意！）：

布局文件：

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:id="@+id/videoLayout"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="#000"
    android:orientation="vertical">
 
    <SurfaceView
        android:id="@+id/videoSurfaceView"
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        android:layout_centerInParent="true" />
</RelativeLayout>

代码：

//获取视频宽高以缩放渲染分辨率,注意此方法必须在releaseOutputBuffer之前执行
    public void fixHW() {
        if (width == 0 || height == 0) {
            width = videoLayout.getWidth();
            height = videoLayout.getHeight();
        }
        Log.e("tempWH", width + ":" + height);
        try {
            //获取视频格式信息，注意此方法必须在releaseOutputBuffer之前执行
            MediaFormat currentFormat = mediaCodec.getOutputFormat();
            mediaW = currentFormat.getInteger("width");
            mediaH = currentFormat.getInteger("height");
            Log.e("mediaWH", mediaW + ":" + mediaH);
            if (mediaH < height && mediaW < width) {
                Log.e("fixType", "mediaRes<layoutRes");
                height = mediaH;
                width = mediaW;
                doFix();
            } else if (mediaH >= height) {
                Log.e("fixType", "mediaH<layoutH");
                int fixW = mediaW * (height / mediaH);
                if (width != fixW) {
                    width = fixW;
                    doFix();
                }
            } else if (mediaW >= width) {
                Log.e("fixType", "mediaW<layoutW");
                int fixH = mediaH * (width / mediaW);
                if (height != fixH) {
                    height = fixH;
                    doFix();
                }
            }
        } catch (IllegalStateException e) {
            e.printStackTrace();
        }
    }
 
    private void doFix() {
        Log.e("mediaWH", width + ":" + height);
        //应用新的渲染分辨率
        MediaFormat newFormat = MediaFormat.createVideoFormat(currentMIMEType, width, height);
        configureDecoder(newFormat, tempSurface);
        //运算videoSurfaceView的宽高以保持纵横比
        ViewGroup.LayoutParams surfaceLayoutParams = videoSurfaceView.getLayoutParams();
        surfaceLayoutParams.width = ViewGroup.LayoutParams.MATCH_PARENT;
        surfaceLayoutParams.height = ViewGroup.LayoutParams.MATCH_PARENT;
        if (width > height) {
            int fixH = (int) (height * (videoLayout.getWidth() / (double) width));
            if (fixH < videoLayout.getHeight()) {
                surfaceLayoutParams.height = fixH;
            } else {
                surfaceLayoutParams.height = videoLayout.getHeight();
                surfaceLayoutParams.width = (int) (width * (surfaceLayoutParams.height / (double) height));
            }
            fixVideoLayout(surfaceLayoutParams);
        } else if (height > width) {
            int fixW = (int) (width * (videoLayout.getHeight() / (double) height));
            if (fixW < videoLayout.getWidth()) {
                surfaceLayoutParams.width = fixW;
            } else {
                surfaceLayoutParams.width = videoLayout.getWidth();
                surfaceLayoutParams.height = (int) (height * (surfaceLayoutParams.width / (double) width));
            }
            fixVideoLayout(surfaceLayoutParams);
        }
    }
 
    //应用videoSurfaceView的宽高，由于解码线程在子线程，这里需要切回主线程执行
    private void fixVideoLayout(ViewGroup.LayoutParams surfaceLayoutParams) {
        if (hdl_fixHWForSurfaceView == null) {
            hdl_fixHWForSurfaceView = new Handler(videoSurfaceView.getContext().getMainLooper()) {
                @Override
                public void handleMessage(Message msg) {
                    super.handleMessage(msg);
                    videoSurfaceView.setLayoutParams((ViewGroup.LayoutParams) msg.obj);
                }
            };
        }
        Message msg = new Message();
        msg.obj = surfaceLayoutParams;
        hdl_fixHWForSurfaceView.sendMessage(msg);
        Log.e("layoutWH", surfaceLayoutParams.width + ":" + surfaceLayoutParams.height);
    }

这里为了节约性能：

如果视频分辨率低于SurfaceView分辨率，则降低解码分辨率到视频分辨率；
如果视频分辨率高于SurfaceView分辨率，则降低解码分辨率到SurfaceView分辨率。

5.省电优化
在屏幕熄灭或者挂入后台的情况下，是没必要让MediaCodec继续解码的，因此，参考其他SDK，我们可以让它共享Activity的生命周期，以此来达到省电的效果：

public void onDestroy() {
        if (mediaCodec != null) {
            //释放内存
            mediaCodec.release();
        }
    }
 
    public void onPause() {
        //通过这个boolean变量来决定要不要处理后台发来的数据流
        isTaskInForeground = false;
        stop();
    }
 
    public void stop() {
        if (mediaCodec != null) {
            //这里catch掉IllegalStateException，以防在未被start前调用
            try {
                //停止解码，此时可以调用configure()方法
                mediaCodec.stop();
            }catch (IllegalStateException e){
                e.printStackTrace();
            }
        }
    }
 
    public void onResume() {
        isTaskInForeground = true;
        if (mediaCodec != null) {
            configureDecoder(tempMediaFormat, tempSurface);
        }
    }
 
    public void configureDecoder(MediaFormat mediaFormat, Surface surface) {
        if (mediaCodec != null) {
            tempSurface = surface;
            //在SurfaceView加载完成前，调用以下方法会报错，此处TryCatch用以应付在OnCreate中执行初始化导致的崩溃
            try {
                mediaCodec.stop();
                tempMediaFormat = mediaFormat;
                mediaCodec.configure(mediaFormat, surface, null, 0);
                mediaCodec.start();
                //此方法必须在configure和start之后执行才有效
//                mediaCodec.setVideoScalingMode(MediaCodec.VIDEO_SCALING_MODE_SCALE_TO_FIT_WITH_CROPPING);
            } catch (IllegalArgumentException e) {
                e.printStackTrace();
            } catch (IllegalStateException e) {
                e.printStackTrace();
            }
        }
    }
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 159,835评论 4赞 364
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,598评论 1赞 295
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 109,569评论 0赞 244
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,159评论 0赞 213
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,533评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,710评论 1赞 222
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,923评论 2赞 313
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,674评论 0赞 203
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,421评论 1赞 246
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2赞 245
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1赞 260
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,428评论 2赞 254
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,114评论 3赞 238
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0赞 197
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2赞 276
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2赞 271

推荐阅读更多精彩内容

  • 结
    我这个手机号原来的主人是个药店老板，据某位打过来的阿姨说的名字，我还特意查了下地址，枣阳。一开始接到这种电...
    汤圆今天又瘦了吗阅读 506评论 0赞 6
  • 精要主义-甄别
    《动物庄园》中拳击手角色的经历:用意美好的结果却不尽人意。在现实生活中，我们也有很多相似的经历。面对挫折，不加思索...
    自强厚德阅读 167评论 0赞 0
  • 哼哼唧唧
    互救斤斤计较会斤斤计较健康科技奶奶家
    啊哦1阅读 188评论 0赞 0
  • 落花无言
    “落花无言，人淡如菊”，我爱极了这八个字，却不由一声叹息。无言何易，菊淡何为？ 生活中，我这纠结反复的性格，或许某...
    爰为阅读 1,050评论 18赞 18