Android短视频高斯模糊幕布

要实现一个什么样的效果

来自剪影app画布模糊的效果:


IMG20201215_094116.png

思路:怎么做

先画背景再画原始视频帧。
高斯模糊背景怎么画?

本方案参考基于exoplayer播放器的高斯模糊视频滤镜,用这个方案实现了视频流的背景铺满播放(用在信息流播放视频,还没有做视频编辑的幕布)。
glsl 如下,三个参数我调了好久,另外注意“vTextureCoord”等名称要和顶点shader中一致

  private final static float radius = 5.0f;//偏移量
    private final static int blurX = 5, blurY = 5;//X方向, Y方向
    private final static double trans = 0.005d;//透明度
    private String GAUSSIAN_BLUR_SHADER = "#extension GL_OES_EGL_image_external : require\n" +
            "precision mediump float;\n" +
            "varying vec2 vTextureCoord;\n" +
            "uniform samplerExternalOES sTexture;\n" +
            "const float resolution = 1024.0;\n" +
            "const float radius = "+radius+";\n" +
            "vec2 dir = vec2(1.0,1.0);\n" +
            "void main() {\n" +
            "   highp vec4 centralColor = vec4(0.0);\n" +
            "   float blur = radius/resolution;\n" +
            "   float hstep = dir.x;\n" +
            "   float vstep = dir.y;\n" +
            "   int x = "+blurX+";int y = "+blurY+";\n" +
            "   for(int i = x; i > 0; i--){\n" +
            "       for(int j = y; j > 0; j--){\n" +
            "           centralColor += texture2D(sTexture, vec2(vTextureCoord.x + float(i)*blur*hstep, vTextureCoord.y +float(j)*blur*vstep))*"+trans+";" +
            "           centralColor += texture2D(sTexture, vec2(vTextureCoord.x - float(i)*blur*hstep, vTextureCoord.y +float(j)*blur*vstep))*"+trans+";" +
            "           centralColor += texture2D(sTexture, vec2(vTextureCoord.x - float(i)*blur*hstep, vTextureCoord.y -float(j)*blur*vstep))*"+trans+";" +
            "           centralColor += texture2D(sTexture, vec2(vTextureCoord.x + float(i)*blur*hstep, vTextureCoord.y -float(j)*blur*vstep))*"+trans+";" +
            "       }\n" +
            "   }\n" +
            "   gl_FragColor = vec4(centralColor);\n" +
            "}";  

实践:做产品需求中遇到的问题

将上述方案移植到视频编辑模块实现后,发现其模糊程度不可调参,....因为产品要求用户可以设置4档模糊程度。也不是不可调,调了不对劲啊...
radius ?发现调大了之后有重影,越调大,重影越多...
blurX 、blurY?越调怎么锯齿越严重呢,竞品不是这样啊...
仔细看上述算法,这几个参数无论怎么调,它只用了4个像素去做平滑啊,难怪效果不对...代码不能乱抄,所谓的高斯模糊到底是怎么一回事呢

用大白话来解释高斯模糊,就是采集当前像素一定范围内的颜色,将采集到的颜色按比例进行合成(越靠近当前像素的颜色比例越高,也就是正态分布的体现),得到一个比较均匀的颜色。
将图像中的每个像素都按照上面的流程进行处理,最后就可以得到更为平滑(模糊)的图像。
采集的范围越大,得到的图像就会越模糊。

方案1 https://www.shadertoy.com/view/XdfGDH (这个网站是个神奇的工具,就是打开太慢了)
可行,现在就是这样做的

    public  static String getFragmentShader(int width,int height,boolean isOES) {
        float hStep = 1.0f / width;
        float vStep = 1.0f / height;
        String header=isOES?"#extension GL_OES_EGL_image_external : require\n":"";
        String sTextureDeclare=isOES?"uniform samplerExternalOES sTexture;\n": "uniform lowp sampler2D sTexture;\n";
        return header +
                "precision mediump float;\n" +
                "varying vec2 vTextureCoord;\n" +
                //声明可变参数 radius
                sTextureDeclare +
                "uniform int radius;\n" +
                "float normpdf(in float x, in float sigma) {\n" +
                "    return 0.39894 * exp(-0.5 * x * x / (sigma * sigma)) / sigma;\n" +
                "}\n" +
                "void main() {\n" +
                "    vec3 c = texture2D(sTexture, vTextureCoord).rgb;\n" +
                //与中心像素的距离半径,即核的大小
                "    int kSize = (radius - 1) / 2;\n" +
                //15为核最大的半径值
                "    float kernel[15];\n" +
                "    vec3 final_colour = vec3(0.0);\n" +
                //取方差为7,按高斯函数计算核中各个像素的权值
                "    float sigma = 7.0;\n" +
                "    float Z = 0.0;\n" +
                "    for (int j = 0; j <= kSize; ++j) {\n" +
                "        kernel[kSize + j] = kernel[kSize - j] = normpdf(float(j), sigma);\n" +
                "    }\n" +

                //计算高斯核卷积
                "    for (int j = 0; j < radius; ++j) {\n" +
                "        Z += kernel[j];\n" +
                "    }\n" +
                "    for (int i = -kSize; i <= kSize; ++i) {\n" +
                "        for (int j = -kSize; j <= kSize; ++j) {\n" +
                "            final_colour += kernel[kSize + j] * kernel[kSize + i] * texture2D(sTexture, (vTextureCoord.xy + vec2(float(i)*" + hStep + ", float(j)*" + vStep + "))).rgb;\n" +
                "        }\n" +
                "    }\n" +

                "    gl_FragColor = vec4(final_colour / (Z * Z), 1.0);\n" +
                "}";
    }

方案2:https://github.com/Jam3/glsl-fast-gaussian-blur

方案3:https://www.shadertoy.com/view/Xltfzj

拓展:纯色幕布的实现

    private static String getFragmentShader(boolean isOES){

        String header=isOES?"#extension GL_OES_EGL_image_external : require\n":"";
        return   header +
                "precision mediump float;\n" +
                "uniform float redF;\n" +
                "uniform float greenF;\n" +
                "uniform float blueF;\n" +
                "uniform float alphaF;\n" +
                "vec2 dir = vec2(1.0,1.0);\n" +
                "void main() {\n" +
                "   gl_FragColor = vec4(redF,greenF,blueF,alphaF);\n" +
                "}";
    }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容