Metal入门资料006-图像处理基础知识讲解

写在前面:

对Metal技术感兴趣的同学,可以关注我的专题:Metal专辑
也可以关注我个人的简书账号:张芳涛
所有的代码存储的Github地址是:Metal

正文

上次我们描述了graphics pipeline(图形管道)和Metal pipeline(Metal管道)。 现在是时候我们更深入地观察管道,并了解顶点如何在较低的层次上真正处理。 为此,我们需要学习一些比如transformations3D math(3D)数学概念。

3D graphics(3D图形)的世界中,我们通常根据34维来考虑我们的数据。 正如你从上一集中记得的,location(位置)和color(颜色)都是vector_float4(4维)类型。 为了在屏幕上绘制3D几何图形,顶点会遭受一系列变换 - 从object space(物体空间)到world space(世界空间),然后到camera/eye space(相机/眼睛空间),然后到clipping space(裁剪空间),然后到normalized device coordinates(标准化的设备坐标)空间,最后到screen space(屏幕空间)。 我们只看这个剧集的第一阶段。

我们triangle(三角形)的顶点用object space(物体空间)(局部坐标)表示。 他们目前指定了位于屏幕中心的三角形原点。 为了在更大的场景(世界空间)中定位和移动三角形,我们需要对这些顶点应用transformations(变换)。 我们将看到的transformations(转换)是:scaling(缩放),translation(平移)和rotation(旋转)。

translation matrix(平移矩阵)类似于identity matrix(单位矩阵)(其主对角线上的值为1)以及位置[12],[13]和[14](column-major order(按照列排序),它们等同于[3],[ 7]和[11]位置)填充了一个D向量的值,该D向量表示顶点将移动到各个x,y,z轴上的距离。

| 1     0     0    Dx |
| 0     1     0    Dy |
| 0     0     1    Dz |
| 0     0     0     1 |

scaling matrix(缩放矩阵)也类似于identity matrix(单位矩阵),其中位置[0][5][10]用表示顶点将被放大/缩小的比例的S向量的值填充。xyz向量值通常是相同的浮点值,因为在所有轴上按比例进行缩放。

| Sx    0     0     0 |
| 0     Sy    0     0 |
| 0     0     Sz    0 |
| 0     0     0     1 |

rotation matrix(旋转矩阵)也类似于identity matrix(单位矩阵),其中取决于我们正在旋转哪个轴,不同的位置正在用我们旋转的角度的sinus(正弦)或cosinus(余弦)填充。 如果我们围绕x轴旋转,则会填充位置[5][6][9][10]。 如果我们围绕y轴旋转,则填充位置[0][2][8][10]。 最后,如果我们围绕z轴旋转,则填充位置[0][1][4][5]。 请记住,这些职位需要转换为按列排序。

| 1     0     0     0 |
| 0    cos  -sin    0 |
| 0    sin   cos    0 |
| 0     0     0     1 |

| cos   0    sin    0 |
| 0     1     0     0 |
| -sin  0    cos    0 |
| 0     0     0     1 |

| cos  -sin   0     0 |
| sin  cos    0     0 |
| 0     0     1     0 |
| 0     0     0     1 |

我们有足够的数学知识----得需要一周的时间来消化掉,所以让我们把这些矩阵加入到代码中。 我们将继续第3部分之后的代码。它适用于我们创建一个名为Matrix的结构体,它将包含这些transformations(转换):

struct Matrix {
var m: [Float]

init() {
    m = [1, 0, 0, 0,
         0, 1, 0, 0,
         0, 0, 1, 0,
         0, 0, 0, 1
    ]
}

func translationMatrix(var matrix: Matrix, _ position: float3) -> Matrix {
    matrix.m[12] = position.x
    matrix.m[13] = position.y
    matrix.m[14] = position.z
    return matrix
}

func scalingMatrix(var matrix: Matrix, _ scale: Float) -> Matrix {
    matrix.m[0] = scale
    matrix.m[5] = scale
    matrix.m[10] = scale
    matrix.m[15] = 1.0
    return matrix
}

func rotationMatrix(var matrix: Matrix, _ rot: float3) -> Matrix {
    matrix.m[0] = cos(rot.y) * cos(rot.z)
    matrix.m[4] = cos(rot.z) * sin(rot.x) * sin(rot.y) - cos(rot.x) * sin(rot.z)
    matrix.m[8] = cos(rot.x) * cos(rot.z) * sin(rot.y) + sin(rot.x) * sin(rot.z)
    matrix.m[1] = cos(rot.y) * sin(rot.z)
    matrix.m[5] = cos(rot.x) * cos(rot.z) + sin(rot.x) * sin(rot.y) * sin(rot.z)
    matrix.m[9] = -cos(rot.z) * sin(rot.x) + cos(rot.x) * sin(rot.y) * sin(rot.z)
    matrix.m[2] = -sin(rot.y)
    matrix.m[6] = cos(rot.y) * sin(rot.x)
    matrix.m[10] = cos(rot.x) * cos(rot.y)
    matrix.m[15] = 1.0
    return matrix
}

func modelMatrix(var matrix: Matrix) -> Matrix {
    return matrix
  }
}

我们来看看这段代码。 我们首先创建一个struct(结构体)并声明一个浮点类型的数组。 然后我们为它提供一个初始化器,它是identity matrix(单位矩阵)(对角线上的所有的值都是1)。 接下来,我们创建变换矩阵。 最后,我们创建一个modelMatrix,它将所有转换组合到一个输出矩阵中。

为了进行这些转换工作,我们需要通过shader(着色器)将它们发送到GPU。 为了做到这一点,我们首先需要创建一个新的缓冲区。 我们把它命名为uniform_buffer。 当我们想要将数据发送到整个模型而不是每个顶点时,Uniforms就是我们可以使用的构造。 只有通过使用Uniforms来节省空间并发送包含所有转换的最终model matrix才有意义。 所以在我们的MetalView类的一开始,创建新的缓冲区:

var uniform_buffer: MTLBuffer!

createBuffers()函数内部,为缓冲区分配内存,足以容纳4x4矩阵:

uniform_buffer = device!.newBufferWithLength(sizeof(Float) * 16, options: [])
let bufferPointer = uniform_buffer.contents()
memcpy(bufferPointer, Matrix().modelMatrix(Matrix()).m, sizeof(Float) * 16)

endToGPU()函数内部,在命令编码器中设置vertex_buffer之后,还要设置uniform_buffer

command_encoder.setVertexBuffer(uniform_buffer, offset: 0, atIndex: 1)

最后,让我们转到Shaders.metal进行配置的最后部分。 在Vertex结构体下面,创建一个名为Uniforms的结构,它将保存我们的模型矩阵:

struct Uniforms {
float4x4 modelMatrix;
};

修改vertex shader(顶点着色器)以包含我们从CPU传来的转换:

vertex Vertex vertex_func(constant Vertex *vertices [[buffer(0)]],
                      constant Uniforms &uniforms [[buffer(1)]],
                      uint vid [[vertex_id]])
{
float4x4 matrix = uniforms.modelMatrix;
Vertex in = vertices[vid];
Vertex out;
out.position = matrix * float4(in.position);
out.color = in.color;
return out;
}

我们在这里所做的只是将uniforms作为第二个参数(缓冲区),然后将模型矩阵与顶点相乘。 如果您现在运行该应用程序,您将看到一个三角形,占据整个视图的空间。

我们将其缩小至原始尺寸的四分之一。 将此行添加到modelMatrix函数中:

matrix = scalingMatrix(matrix, 0.25)

再次运行应用程序,注意现在三角形变小了:

接下来,让我们通过将它向上移动一半的屏幕大小来在y轴上平移三角形:

matrix = translationMatrix(matrix, float3(0.0, 0.5, 0.0))

再次运行应用程序,注意三角现在比以前更高:

最后,让我们围绕z轴旋转三角形:

matrix = rotationMatrix(matrix, float3(0.0, 0.0, 0.1))

再次运行应用程序,注意三角形现在也旋转了:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,012评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,589评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,819评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,652评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,954评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,381评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,687评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,404评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,082评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,249评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,864评论 3 232
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2 259

推荐阅读更多精彩内容