OpenGL ES实践教程(七)多滤镜叠加处理

教程

OpenGL ES实践教程1-Demo01-AVPlayer
OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染
OpenGL ES实践教程3-Demo03-Mirror
OpenGL ES实践教程4-Demo04-VR全景视频播放
OpenGL ES实践教程5-Demo05-多重纹理实现图像混合
OpenGL ES实践教程6-Demo06-全景视频获取焦点
其他教程请移步OpenGL ES文集

前言

有朋友问我有关实现滤镜的叠加问题,滤镜有饱和度和色温。
已经实现两个滤镜一起显示的效果,但是两个滤镜处理都写在同一个shader里面,是否能否分开写在不同的shader?
我建议开个新帧缓存先处理饱和度,把输出的纹理作为色温的输入,关键函数是glFramebufferTexture2D
不过朋友并没有解决这问题,卡在了帧缓存这一步,然后把demo整理发给我。
demo的shader写得很棒,但是帧缓存的配置和纹理选择存在较大问题;花时间整理工程后,有了这篇文章。

核心思路

定义两个GLProgram,来处理饱和度与色温的Shader,每个Shader都有对应的转换矩阵和纹理;
激活纹理单元1,上传初始图像;
配置一个新的帧缓存,以纹理单元1作为输入,以纹理单元0作为帧缓存的颜色输出(glFramebufferTexture2D函数);
配置一个新的帧缓存,以纹理单元0作为输入,以CAEAGLLayer作为颜色输出(通过前后帧交换后显示到屏幕);

效果预览

饱和度和色温.gif

具体步骤

1、初始化OpenGL ES配置
初始化数据->设置CAEAGLLayer->选择OpenGL ES上下文->初始化帧缓存->编译shader->配置顶点数组信息。
这一部分和前面的文章有较大的重复,具体看代码代码即可,我们重点关注饱和度Shader相关的帧缓存配置部分:

- (void)setupTemp {
    glGenFramebuffers(1, &_tempFramebuffer);
    glActiveTexture(GL_TEXTURE0);
    glGenTextures(1, &_tempTexture);
    glBindTexture(GL_TEXTURE_2D, _tempTexture);
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, self.frame.size.width * self.contentScaleFactor, self.frame.size.height * self.contentScaleFactor, 0, GL_RGBA, GL_UNSIGNED_BYTE, NULL);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    glBindFramebuffer(GL_FRAMEBUFFER, _tempFramebuffer);
    glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, _tempTexture, 0);
}

glActiveTexture是激活纹理单元,这里选择纹理单元0作为输出,glFramebufferTexture2D是把帧缓存的颜色输出定位到纹理中,这样shader的绘制结果就会成为纹理;

2、滤镜渲染
滤镜渲染分为两部分,第一部分是饱和度渲染,第二部分是色温渲染;

  • 饱和度渲染:
    先绑定事先配置好的_tempFramebuffer并使用饱和度的shader;
    这里同样需要用glViewport设置视口大小;
    初始化变量,注意选择纹理单元1作为输入纹理;
    最后开始绘制。
    // 绘制第一个滤镜
    glUseProgram(_tempProgramHandle);
    glBindFramebuffer(GL_FRAMEBUFFER, _tempFramebuffer);
    glViewport(0, 0, self.frame.size.width * self.contentScaleFactor, self.frame.size.height * self.contentScaleFactor);
    glClearColor(0, 0, 1, 1);
    glClear(GL_COLOR_BUFFER_BIT);
    glUniform1i(glViewUniforms[TEMP_UNIFORM_INPUT_IMAGE_TEXTURE], 1);
    glUniform1f(glViewUniforms[UNIFORM_SATURATION], _saturation);
    glVertexAttribPointer(glViewAttributes[TEMP_ATTRIBUTE_POSITION], 4, GL_FLOAT, GL_FALSE, sizeof(CustomVertex), 0);
    glVertexAttribPointer(glViewAttributes[TEMP_ATTRIBUTE_INPUT_TEXTURE_COORDINATE], 2, GL_FLOAT, GL_FALSE, sizeof(CustomVertex), (GLvoid *)(sizeof(float) * 4));
    glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
  • 色温渲染:
    先使用色温的shader并绑定GL_FRAMEBUFFERGL_RENDERBUFFER
    glViewport设置视口大小同样需要;(虽然两个视口大小一致,设置一次即可,但是这里是应该设置的)
    初始化变量,这次选择纹理单元0(饱和度的输出纹理)作为输入纹理;
    发送渲染指令,并用presentRenderbuffer:显示到屏幕。
    // 绘制第二个滤镜
    glUseProgram(_programHandle);
    glBindFramebuffer(GL_FRAMEBUFFER, _framebuffer);
    glBindRenderbuffer(GL_RENDERBUFFER, _renderbuffer);
    glClearColor(1, 0, 0, 1);
    glClear(GL_COLOR_BUFFER_BIT);
    glViewport(0, 0, self.frame.size.width * self.contentScaleFactor, self.frame.size.height * self.contentScaleFactor);
    glUniform1i(glViewUniforms[UNIFORM_INPUT_IMAGE_TEXTURE], 0);
    glUniform1f(glViewUniforms[UNIFORM_TEMPERATURE], _temperature);
    glVertexAttribPointer(glViewAttributes[ATTRIBUTE_POSITION], 4, GL_FLOAT, GL_FALSE, sizeof(CustomVertex), 0);
    glVertexAttribPointer(glViewAttributes[ATTRIBUTE_INPUT_TEXTURE_COORDINATE], 2, GL_FLOAT, GL_FALSE, sizeof(CustomVertex), (GLvoid *)(sizeof(float) * 4));
    glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
    [_context presentRenderbuffer:GL_RENDERBUFFER];

遇到的问题

GPU Frame Capture没有返回
在OpenGL ES的渲染指令没有得到想到的结果时,看看GPU的渲染指令和上下文,能非常快定位问题所在;但是昨天又遇到一直卡在Capturing的界面,并且在结束进程后才能得到不完整的结果。
仔细看了一遍苹果的文档,以为是GLKit没有导入的问题;尝试把ViewController的父类从UIViewController改成GLKitViewController,但是依旧没有返回;
Google上的答案,大多数问的是Metal下GPU Frame Capture的问题;
仔细翻了几页,so给了两个解决方案:
1、glInsertEventMarkerEXT(0, "com.apple.GPUTools.event.debug-frame");
2、用instrucment的GPU Driver;
尝试后都无效,怀疑是XCode工程设置问题,新建工程带入代码测试,无效;
最后终于发现问题所在:
GPU Frame Capture执行后,需要调用渲染;但是demo的并没有用CADisplayLink管理帧刷新。
于是每次Capture之后,需要手动触发一下渲染。

大部分时间的消耗在这个问题。

渲染结果不一致(黑屏)
现象是黑屏,原因未知,这个问题是demo打开就存在的。
简单查看代码流程,没有问题;
之后尝试用GPU Frame Capture,就遇到前面的问题,但是Capture并没有很快解决。
在用instrucment的OpenGL ES Analysis时发现帧缓存的设置有问题;
回来检查帧缓存的初始化代码,发现是glFramebufferTexture2D的第一个参数被设置成_tempFramebuffer
修改掉这个处比较明显的bug后,仍旧是黑屏;
尝试二分代码,把饱和度去掉,把色温的输入纹理设置为纹理单元1,可以显示;
尝试保留饱和度,去掉色温的shader,直接把饱和度的处理结果显示到屏幕,正常;
但是把两个处理结果串联起来就会黑屏;
最后还是先回去解决GPU Frame Capture,在Capture问题解决后,马上发现问题:
饱和度渲染结果是空;
饱和度的输入纹理是正常的,纹理单元、纹理对象、转换矩阵的设置也是正常的;
最后尝试一行行代码的看,终于发现是glFramebufferTexture2D函数调用前,没有调用glBindFramebuffer函数。
添加后,显示结果终于正常。

总结

代码不多,但是调试起来挺麻烦;特别是当结果只能显示在屏幕时,二分代码进行BUG定位是常见的。
GPU Frame Capture一定要会用,不然会浪费更多的时间。
代码地址
有什么好玩的想法、demo,欢迎来私信探讨。
如果觉得文章有所帮助或者有点意思,麻烦点个喜欢。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,504评论 4 365
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,898评论 1 300
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,218评论 0 248
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,322评论 0 214
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,693评论 3 290
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,812评论 1 223
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,010评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,747评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,476评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,700评论 2 251
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,190评论 1 262
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,541评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,206评论 3 240
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,129评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,903评论 0 199
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,894评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,748评论 2 274

推荐阅读更多精彩内容