ExoPlayer简要分析

ExoPlayer使用可以参考:
https://exoplayer.dev/
一、ExoPlayer运行流程
ExoPlayer的运行流程是source->buffer->decoder->renderer。从视频源读取数据到buffer(使用SampleQueue来管理buffer),MediaCodec从buffer中取数据解码后,交给renderer ,视频使用 surface显示,音频使用AudioTrack 播放。 从视频源里读取数据并没有采用MediaExtractor ,而是根据不同的视频格式使用自己的Extractor,比如对于mp4文件,使用Mp4Extractor。对视频renderer,封装在MediaCodecVideoRenderer。对音频播放,封装在MediaCodecAudioRenderer。
二、ExoPlayer线程模型

exothread.png

ExoPlayer里有个Playback的HandlerThread,调用者在主线程通过Handler发消息,Playback线程处理消息,下面通过给视频播放设置Surface看下消息传递流程。
ExoPlayer播放视频使用PlayerView,PlayerView本质使用TextureView,SurfaceView或GLSurfaceView这些View来显示图像。拿SurfaceView举例,当SurfaceView在UI上显示时,会回调surfaceCreated,在SimpleExoPlayer里注册了一系列的回调监听,其中就有surfaceCreated,在surfaceCreated里调用了:

for (Renderer renderer : renderers) {
      if (renderer.getTrackType() == C.TRACK_TYPE_VIDEO) {
        messages.add(
            player
                .createMessage(renderer)
                .setType(Renderer.MSG_SET_SURFACE)
                .setPayload(surface)
                .send());
      }
    }

renderers里有视频,音频,字幕等renderer,这里只关注视频renderder,如果是 视频renderer,就封装一个PlayerMessage发送出去。看下createMessage怎生成PlayerMessage:

public PlayerMessage createMessage(Target target) {
    return new PlayerMessage(
        internalPlayer,\\ sender
        target,              \\target
        playbackInfo.timeline,
        getCurrentWindowIndex(),
        internalPlayerHandler);
  }

send()的调用:

 public PlayerMessage send() {
    sender.sendMessage(this);
    return this;
  }

可见PlayerMessage是通过internalPlayer发送,然后target(renderder)去接收。
internalPlayer其实就是ExoPlayerImplInternal,sendMessage源码是 :

@Override
  public synchronized void sendMessage(PlayerMessage message) {
    handler.obtainMessage(MSG_SEND_MESSAGE, message).sendToTarget();
  }

hander是就是封装后的HandlerWrapper,本质使用Playback线程的looper,callback是ExoPlayerImplInternal自己,于是消息传递到ExoPlayerImplInternal的handleMessage方法,这时运行在Playback线程中,handleMessage中处理msg.what为MSG_SEND_MESSAGE的方法是调用sendMessageInternal,转了几次后调用到deliverMessage:

 private void deliverMessage(PlayerMessage message) throws ExoPlaybackException {
    try {
      message.getTarget().handleMessage(message.getType(), message.getPayload());
    } finally {
      message.markAsProcessed(/* isDelivered= */ true);
    }
  }

message.getTarget就是之前的renderer,对于视频,就是MediaCodecVideoRenderer,看看MediaCodecVideoRenderer的handleMessage:

@Override
  public void handleMessage(int messageType, @Nullable Object message) throws ExoPlaybackException {
    if (messageType == MSG_SET_SURFACE) {
      setSurface((Surface) message);
    } 
  }

  private void setSurface(Surface surface) throws ExoPlaybackException {
....
    setOutputSurfaceV23(codec, surface);
....
}
 protected void setOutputSurfaceV23(MediaCodec codec, Surface surface) {
    codec.setOutputSurface(surface);
  }

这里codec就是MediaCodec,调用了MediaCodec的setOutputSurface方法设置了surface。

三、事件监听
在SimpleExoPlayer构造方法里有个componentListener成员变量,componentListener里面定义了各种事件,比如视频相关的监听SurfaceHolder.Callback,VideoRendererEventListener,这些都在里面定义了。在SimpleExoPlayer里还有个renderers,renderers对应视频,音频这些最终显示或播放,SimpleExoPlayer把componentListener塞给了各个renderers。拿VideoRenderer为例,DefaultRenderersFactory里调用buildVideoRenderers:

 MediaCodecVideoRenderer videoRenderer =
        new MediaCodecVideoRenderer(
            context,
            mediaCodecSelector,
            allowedVideoJoiningTimeMs,
            enableDecoderFallback,
            eventHandler,
            eventListener,  //VideoRendererEventListener
            MAX_DROPPED_VIDEO_FRAME_COUNT_TO_NOTIFY);

这样就把VideoRendererEventListener(也是componentListener)传递给了MediaCodecVideoRenderer,MediaCodecVideoRenderer把这个eventListener和eventHandler封装成了EventDispatcher,EventDispatcher的作用是利用eventHandler使回调在相应的线程中去执行,一般在主线程里。
比如onRenderedFirstFrame事件,事件发生时,MediaCodecVideoRenderer调用 eventDispatcher.renderedFirstFrame(surface); 通过handler在相应线程里调用(listener).onRenderedFirstFrame(surface),实现了监听。

SimpleExoPlayer里对这些事件监听到了,怎么传给UI层的PlayerView?看看SimpleExoPlayer里onRenderedFirstFrame对回调怎么处理的:

  private final CopyOnWriteArraySet<com.google.android.exoplayer2.video.VideoListener>
      videoListeners;
 public void onRenderedFirstFrame(Surface surface) {
      if (SimpleExoPlayer.this.surface == surface) {
        for (com.google.android.exoplayer2.video.VideoListener videoListener : videoListeners) {
          videoListener.onRenderedFirstFrame();
        }
      }
}
  @Override
  public void addVideoListener(com.google.android.exoplayer2.video.VideoListener listener) {
    // Don't verify application thread. We allow calls to this method from any thread.
    Assertions.checkNotNull(listener);
    videoListeners.add(listener);
  }

答案在PlayView里调用addVideoListener。如果要扩展监听,只需要在相应的listerner里加入新的事件。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容