从kxmovie代码看iOS上OpenGL ES的显示流程

一句话概述:视频的帧数据,传递给OpenGL,处理后输出给FBO,然后取得FBO里的color render buffer,然后通过CAEAGLLayer上呈现到屏幕

想多了解下音视频开发,看了下kxmovie的代码,kxmovie是一个基于FFmpeg的iOS上的开源音视频库,主体就3部分:

  • FFmpeg对音视频资源的解码,输出一帧帧的数据
  • 对数据的管理,如缓冲区管理;播放操作的管理,如停止、开始
  • 把视频数据呈现到屏幕上

现在要说的就是第三段,而kxmovie就是用的OpenGL ES来处理的(确切的说是优先使用OpenGL ES来做的)。

上代码:

- (CGFloat) presentVideoFrame: (KxVideoFrame *) frame
{
    if (_glView) {
        
        [_glView render:frame];   //代码1
        
    } else {
        
        KxVideoFrameRGB *rgbFrame = (KxVideoFrameRGB *)frame;
        _imageView.image = [rgbFrame asImage];
    }
    
    _moviePosition = frame.position;
        
    return frame.duration;
}

入口就在代码1位置,_glView就是用来呈现视频画面的View,而frame是一帧数据。整体就是不断的在调用这个方法,不断地显示一帧帧的画面。

然后进入render方法:

- (void)render: (KxVideoFrame *) frame
{
    
    static const GLfloat texCoords[] = {
        0.0f, 1.0f,
        1.0f, 1.0f,
        0.0f, 0.0f,
        1.0f, 0.0f,
    };
 
    [EAGLContext setCurrentContext:_context];  
    
    glBindFramebuffer(GL_FRAMEBUFFER, _framebuffer);  //代码1
    glViewport(0, 0, _backingWidth, _backingHeight);
    glClearColor(0.0f, 0.0f, 0.0f, 1.0f);
    glClear(GL_COLOR_BUFFER_BIT);
    glUseProgram(_program);
        
    if (frame) {
        [_renderer setFrame:frame];     //代码2   
    }
    
    if ([_renderer prepareRender]) {  //代码3
       
        GLfloat modelviewProj[16];
        mat4f_LoadOrtho(-1.0f, 1.0f, -1.0f, 1.0f, -1.0f, 1.0f, modelviewProj);
        glUniformMatrix4fv(_uniformMatrix, 1, GL_FALSE, modelviewProj);
        
        glVertexAttribPointer(ATTRIBUTE_VERTEX, 2, GL_FLOAT, 0, 0, _vertices);
        glEnableVertexAttribArray(ATTRIBUTE_VERTEX);
        glVertexAttribPointer(ATTRIBUTE_TEXCOORD, 2, GL_FLOAT, 0, 0, texCoords);
        glEnableVertexAttribArray(ATTRIBUTE_TEXCOORD);
        
        glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);        
    }
    //代码4
    glBindRenderbuffer(GL_RENDERBUFFER, _renderbuffer);
    [_context presentRenderbuffer:GL_RENDERBUFFER];
}

(1)代码1位置,绑定_framebuffer,OpenGL里面有许多的类似的Bind函数,我理解的是,这样做之后,之后所有对frameBuffer的操作就是针对这个frameBuffer的了。官方文档里有句解释:

While a non-zero framebuffer object name is bound, GL operations on target GL_FRAMEBUFFER
 affect the bound framebuffer object, and queries of target GL_FRAMEBUFFER
 or of framebuffer details such as GL_DEPTH_BITS
 return state from the bound framebuffer object. 

(2)说下frameBuffer Object(FBO),具体的使用流程可以参考这篇.简单说,就是OpenGL的绘制结果不是直接显示到屏幕上,而是存起来了,这个存储的东西就是FBO。所以FBO里面包含了color、depth、stencil等一些用于显示的信息。
代码1就是指定当前使用的FBO是哪个,然后执行后数据就会输入到这个FBO里了。

(3)指定好,数据的去向,那也要指定源头,数据从哪来。我们现在只有一个frame,所以要把这个frame数据变成OpenGL的输入。然后就是代码2,函数体是:

- (void) setFrame: (KxVideoFrame *) frame
{
    KxVideoFrameRGB *rgbFrame = (KxVideoFrameRGB *)frame;
   
    assert(rgbFrame.rgb.length == rgbFrame.width * rgbFrame.height * 3);

    glPixelStorei(GL_UNPACK_ALIGNMENT, 1);
    
    if (0 == _texture)
        glGenTextures(1, &_texture);   //代码5
    
    glBindTexture(GL_TEXTURE_2D, _texture);//代码6
    //代码7
    glTexImage2D(GL_TEXTURE_2D,
                 0,
                 GL_RGB,
                 frame.width,
                 frame.height,
                 0,
                 GL_RGB,
                 GL_UNSIGNED_BYTE,
                 rgbFrame.rgb.bytes);
    
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
}

整体来说,这一段的作用就是使用传入的frame,构建了一个纹理_texture。代码5生成一个纹理,代码6绑定纹理,也就是指定下面要操作的是_texture这个纹理,代码7应该是赋值,最后一个参数就是数据,具体各个参数意思看文档。然后frame数据就转换成了texture。

(4)有了数据纹理,把纹理传到OpenGL的pipline里去,就是代码3,函数体是:

- (BOOL) prepareRender
{
    if (_texture == 0)
        return NO;
    
    glActiveTexture(GL_TEXTURE0);  //代码8
    glBindTexture(GL_TEXTURE_2D, _texture);//代码9
    glUniform1i(_uniformSampler, 0);//代码10
    
    return YES;
}

代码8 选择一个纹理槽位,即GL_TEXTURE0;9绑定纹理为_texture,这样_texture和槽位GL_TEXTURE0联系上了;代码10是给shader里的变量赋值,第一个参数是指定被赋值的变量的位置,同一个shader里面会定义多个输入对象,每个都有对应的位置,可以这样获得:

_uniformSampler = glGetUniformLocation(program, "s_texture");

这就是取得uniform变量s_texture的位置,赋值给_uniformSampler。代码10第二个参数就是指定哪个纹理,传入n,就是GL_TEXTURE0+n槽位的纹理,这里传入0,结合代码3.1和3.2,其实就是把_texture。然后_uniformSampler是s_texture的位置,所以整体就是把_texture赋值给了shader里面的s_texture变量。
这样,纹理数据就传递给了shader,进入到OpenGL的pipline里了。

(5)OpenGL把数据输入给我们绑定的FBO,FBO管理着各种buffer,其中就有color buffer。代码4位置,_renderbuffer就是绑定在当前FBO上的color buffer,存储着颜色信息,第一句glBindRenderbuffer指定下面对GL_RENDERBUFFER的操作是使用GL_RENDERBUFFER,然后_context显示render buffer。然后数据就被显示到屏幕上了。

最后,render buffer的绑定代码:

glGenFramebuffers(1, &_framebuffer);
        glGenRenderbuffers(1, &_renderbuffer);  //代码11
        glBindFramebuffer(GL_FRAMEBUFFER, _framebuffer);   
        glBindRenderbuffer(GL_RENDERBUFFER, _renderbuffer);   //代码12
        [_context renderbufferStorage:GL_RENDERBUFFER fromDrawable:(CAEAGLLayer*)self.layer];   //代码13
        glGetRenderbufferParameteriv(GL_RENDERBUFFER, GL_RENDERBUFFER_WIDTH, &_backingWidth);
        glGetRenderbufferParameteriv(GL_RENDERBUFFER, GL_RENDERBUFFER_HEIGHT, &_backingHeight);
        glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_RENDERBUFFER, _renderbuffer);  //代码14

代码11和12就是生成和绑定一个render buffer,但实际这是render buffer只是生成了一个名字,并没有内存空间,而关键的就是代码13.这一句,_context从self.layer里获取到一段内存给新生成的render buffer,根据iOS文档,render buffer和这个CAEAGLLayer对象是共享内存的。如图:

Core Animation shares the renderbuffer with OpenGL ES

没看到具体文档,但我猜这就是为什么_context调用presentRenderbuffer,然后self.layer就会更新内容的原因,这句代码把_context、render buffer和self.layer关联了起来。
代码14就是把render buffer 绑定给FBO,注意第二个参数使用GL_COLOR_ATTACHMENT0,这个指定了这个render buffer使用来存储颜色信息的,所以OpenGL把数据渲染到FBO后,这个render buffer保存的是颜色信息。

参考文章:FBO的使用
OpenGL ES渲染到layeriOS官方文档里面Rendering to a Core Animation Layer那一节
OpenGL ES2.0 – Iphone开发指引
OpenGL ES入门系列

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 143,906评论 1 305
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 61,698评论 1 257
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 95,242评论 0 213
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 41,257评论 0 182
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 49,076评论 1 260
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,912评论 1 178
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,509评论 2 274
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,255评论 0 168
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 29,145评论 6 235
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,613评论 0 214
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,376评论 2 216
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,733评论 1 231
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,287评论 0 32
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,196评论 2 213
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,644评论 3 211
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,651评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,059评论 0 169
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,644评论 2 233
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,789评论 2 237

推荐阅读更多精彩内容