Metal基础实践

简介

Metal 提供了和 GPU 的底层交互,让开发者可以使自己的iOS、macOS、tvOS应用表现出最佳的图形和运算处理性能。该文章从苹果官方提供的机组 demo 入手,介绍 MetalKit 和 Metal Shading Language 的使用,并使用它们进行图形渲染和科学计算。

MetalKit使用的基本步骤

第一个最重要的类是 MTKView ,这是一个包裹了 UIView 或者 NSView 的对象,具备 Metal-spcific 的核心动画功能,渲染的内容在 MTKView 上进行显示。MTKView 比较重要的属性是 preferredFramesPerSecond 、device 和 delegate 。

preferredFramesPerSecond 毋庸置疑是用来设置帧率的,这个帧率不是绝对的,会受限与设备的最大帧率和最小帧率,当这个值大于最大帧率,则选择最大帧率;小于最小帧率,则选择最小帧率。其默认值为 60 。

device 用来获取 Metal 与 GPU 交互的一系列对象,默认值是 nil ,需要使用
MTLCreateSystemDefaultDevice() 来主动获取。

delegate 具备了 MTKViewDelegate ,其提供 mtkView:drawableSizeWillChange: 和 drawInMTKView: 回调。每刷新一帧 drawInMTKView: 回调会被调用一次,在 drawInMTKView: 里面可以进行绘制或者计算相关的工作;mtkView:drawableSizeWillChange: 回调是在 MTKView 的 frame 发生改变的时候回调,可以手机发生屏幕旋转或者其他需要调整视图的操作时,调整绘制区域。

第二类是 Metal 与 GPU 交互相关的对象
如图是一个基本绘制的流程:

绘制流程

我们需要一个具备 MTLCommandQueue 协议的对象,其负责在每一帧里生产一系列具备 MTLCommandBuffer 协议的对象,Metal 与 GPU 的交互都会被写入到这些具备 MTLCommandBuffer 协议的对象里面,而这个写入的过程需要通过一个具备 MTLXXXCommandEncoder(MTLRenderCommandEncoder、MTLComputeCommandEncoder 或者其他的Encoder)协议的对象。

以下是一个绘制的基本结构:

- (void)prepare {
    _device = MTLCreateSystemDefaultDevice();
    _commandQueue = [_device newCommandQueue];
}

- (void)drawInMTKView:(nonnull MTKView *)view
{
    // 设置背景颜色
    Color color = [self makeFancyColor];
    view.clearColor = MTLClearColorMake(color.red, color.green, color.blue, color.alpha);

    id<MTLCommandBuffer> commandBuffer = [_commandQueue commandBuffer];
    commandBuffer.label = @"MyCommand";

    MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;
    if(renderPassDescriptor != nil)
    {
        id<MTLRenderCommandEncoder> renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];

        renderEncoder.label = @"MyRenderEncoder";

    /*
    这里写入绘制相关
    */

        [renderEncoder endEncoding];

        [commandBuffer presentDrawable:view.currentDrawable];
    }

    // Finalize rendering here and submit the command buffer to the GPU
    [commandBuffer commit];
}

并行计算的 MTLComputeCommandEncoder 对象不需要借助 MTLRenderPassDescriptor 来创建,其结构为:

- (void)prepare {
    _device = MTLCreateSystemDefaultDevice();
    _commandQueue = [_device newCommandQueue];
}

- (void)drawInMTKView:(nonnull MTKView *)view
{
    id<MTLCommandBuffer> commandBuffer = [_commandQueue commandBuffer];
    commandBuffer.label = @"MyCommand";

    id<MTLComputeCommandEncoder> computeEncoder = [commandBuffer computeCommandEncoder];

     /*
        并行计算相关
     */   

    [computeEncoder endEncoding];
    
    /*
        有其他的 Encoder 可以继续叠加
    */

    // Finalize rendering here and submit the command buffer to the GPU
    [commandBuffer commit];
}

绘制一个三角形

绘制管线是 GPU 处理图像渲染的一步步流程,如图所示:

绘制管线

Metal 的绘制管线包含了 Vertex function 、Rasterization、Fragment function 三个阶段,Vertex function 阶段接受顶点数据(这里的顶点数据包括了顶点的位置和颜色信息),负责将顶点数据绘制到一个 2D 的可视区域;Rasterization 接受从 Vertex function 传过来的顶点数据,决定哪些数据是要绘制在什么地方的;Fragment function 将颜色值赋值到像素(后期如果有纹理,也在这里操作),最后输出绘制后的图像。创建一个绘制管线的步骤如下:

MTLRenderPipelineDescriptor *pipelineStateDescriptor = [[MTLRenderPipelineDescriptor alloc] init];
pipelineStateDescriptor.label = @"Simple Pipeline";
pipelineStateDescriptor.vertexFunction = vertexFunction; // 设置 Vertex function
pipelineStateDescriptor.fragmentFunction = fragmentFunction; // 设置 Fragment function
pipelineStateDescriptor.colorAttachments[0].pixelFormat = mtkView.colorPixelFormat; // 像素颜色格式
    
// 使用的时候将 _pipelineState 赋值给 Encoder
_pipelineState = [_device newRenderPipelineStateWithDescriptor:pipelineStateDescriptor
                                                            error:&error];
                                                                

其中 Vertex function 和 Fragment function 分别在顶点着色器和片段着色器中实现,需要使用 Metal Shading Language 来编写,Rasterization 阶段不提供编程化的接口。

Metal Shading Language 的语法和 C++ 14 很像,区别在于 C++ 14 是 CPU 上运行的语言,Metal Shading Language 运行在 GPU 上,GPU 提供更大并行处理能力,对有大量数据需要处理的 Vertex function 和 Fragment function 会大大的提高效率。编写的着色器函数保存为 .metal 文件,其编译分为两个阶段:

1. Front-end 阶段发生在 XCode build 时,.metal 文件会被编译为 IR 文件。
2. Back-end 阶段发生在 runtime ,IR 文件会被编译为机器码。

加载 IR 文件的过程通过 device 的 newDefaultLibrary 方法,得到一个具备 MTLLibrary 协议的对象。取出里面的 Vertex function 和 Fragment function 通过 MTLLibrary 对象的 newFunctionWithName 方法。

id<MTLLibrary> defaultLibrary = [_device newDefaultLibrary];

id<MTLFunction> vertexFunction = [defaultLibrary newFunctionWithName:@"vertexShader"]; // 得到 Vertex function
id<MTLFunction> fragmentFunction = [defaultLibrary newFunctionWithName:@"fragmentShader"]; // 得到 Fragment function

绘制使用的数据类型涉及 SIMD 和一个具备 MTLBuffer 协议的对象,SIMD 是一个独立于 Metal 的库,能简化算法和 GPU 处理流程,效率高使用十分方便,常在 Metal 应用中使用。MTLBuffer 是 Metal 提供的用来保存大量顶点数据的 buffer ,其内存由 GPU 可访问的内存分配,效率高,可以节省内存的占用(当顶点数据量庞大的时候)。使用的时候一般自定义一个顶点数据结构,包含坐标点和颜色信息,这个数据结构的定义会用到 SIMD 里面的类型:

typedef struct
{
    vector_float2 position;// 一个二维的位置矢量

    vector_float4 color;// 一个四维的颜色矢量
} AAPLVertex;

将定义好的 APPLVertex 数组传入 MTLBuffer 对象可以通过:

// Set up a simple MTLBuffer with our vertices which include texture coordinates
static const AAPLVertex quadVertices[] =
{
    // Pixel positions, Texture coordinates
    { {  250,  -250 },  { 1.f, 0.f } },
    { { -250,  -250 },  { 0.f, 0.f } },
    { { -250,   250 },  { 0.f, 1.f } },

    { {  250,  -250 },  { 1.f, 0.f } },
    { { -250,   250 },  { 0.f, 1.f } },
    { {  250,   250 },  { 1.f, 1.f } },
};

// Create our vertex buffer, and initialize it with our quadVertices array
_vertices = [_device newBufferWithBytes:quadVertices
                                    length:sizeof(quadVertices)
                                options:MTLResourceStorageModeShared];

之后使用 Encoder 的 setVertexBuffer: 方法可将 MTLBuffer 对象传给顶点着色器(Vertex function),运行绘制管线。

最终的绘制的三角形如图:

三角形

参考

Metal 文档