Core ML框架详细解析(十一) —— 创建自定义图层(一)

版本记录

版本号 时间
V1.0 2018.10.16 星期二

前言

目前世界上科技界的所有大佬一致认为人工智能是下一代科技革命,苹果作为科技界的巨头,当然也会紧跟新的科技革命的步伐,其中ios API 就新出了一个框架Core ML。ML是Machine Learning的缩写,也就是机器学习,这正是现在很火的一个技术,它也是人工智能最核心的内容。感兴趣的可以看我写的下面几篇。
1. Core ML框架详细解析(一) —— Core ML基本概览
2. Core ML框架详细解析(二) —— 获取模型并集成到APP中
3. Core ML框架详细解析(三) —— 利用Vision和Core ML对图像进行分类
4. Core ML框架详细解析(四) —— 将训练模型转化为Core ML
5. Core ML框架详细解析(五) —— 一个Core ML简单示例(一)
6. Core ML框架详细解析(六) —— 一个Core ML简单示例(二)
7. Core ML框架详细解析(七) —— 减少Core ML应用程序的大小(一)
8. Core ML框架详细解析(八) —— 在用户设备上下载和编译模型(一)
9. Core ML框架详细解析(九) —— 用一系列输入进行预测(一)
10. Core ML框架详细解析(十) —— 集成自定义图层(一)

Overview - 概览

为Core ML模型制作自己的自定义图层。

Core ML不支持您的神经网络层时,您可以通过将模型中的图层转换为Core ML并实现定义图层计算行为的支持类来创建自定义图层。


Convert Your Network to Core ML - 将您的网络转换为核心ML

使用标准Core ML Tools将您的带有自定义层的网络转换为Core ML。 在转换调用中启用add_custom_layers标志,以避免在转换器遇到无法识别的图层(您的自定义图层)时失败。 名为“custom”的占位符图层将作为转换过程的一部分插入。 Listing 1显示了脚本的示例调用。

// Listing 1 
Enabling custom layers in Core ML conversion

coreml_model = keras_converter.convert(keras_model, add_custom_layers=True, ...

Migrate Network Parameters and Weights - 迁移网络参数和权重

网络的参数是存储在自定义层的参数字段中的字典。 初始化实现类时,这些参数将传递到自定义类实现以自定义初始化。

要迁移权重,请在自定义图层中创建新的权重数组,然后将权重从原始源图层复制到新创建的数组中。

// Listing 2 
Copying the weights from the source into a custom layer

custom_weights = layer.custom.weights
# For each weight parameter in the Keras model, copy them into the custom layer
for weights in k_weights:
    migrated_weights = custom_weights.add()
    migrated_weights.floatValue.extend(map(float, weights.flatten().tolist()))

权重以二进制格式存储,以优化大量数据。 参数字典相反 - 方便访问,但不适合大量数据。 在确定是否将自定义图层的数据表示为参数或权重时,请记住这一点。


Name the Layer - 命名图层

在保存模型之前,请定义自定义图层的名称。 这也是实现自定义层行为的Swift或Objective-C类的名称。

// Listing 3 
Setting the className field in your custom layer to map the layer to classes in your project

layer.custom.className = "MyCustomLayer"

Save the Converted Model - 保存转换后的模型

保存转换后的模型以创建.mlmodel文件。 模型的Xcode视图显示模型的一组依赖关系,如Integrating Custom Layers中所示。 该列表与您添加到.mlmodel文件的自定义图层类名相匹配。


Implement the Layer - 实现图层

dependencies项列表应包含转换模型时定义的className。 在Creating a Custom Layer,它是MyCustomLayer。 通过实现下面描述的方法创建您的类并使其符合MLCustomLayer协议。

注意:在Swift中,将@obj(<className>)属性添加到实现MLCustomLayer的类中。 这定义了类的Objective-C名称,Core ML需要访问您的自定义层实现。

  • 实现init(parameters:)以适当地初始化您的图层。 此方法将在加载时使用.mlmodel文件中的参数调用一次。

  • 实现setWeightData(_:)以配置图层的连接权重。 在初始化之后,此方法将在加载时调用一次,并将权重迁移到.mlmodel文件中。

  • 实现outputShapes(forInputShapes:)以声明给定输入形状的输出形状到您的图层。 此方法将在模型加载时调用,并且在对图层的输入形状发生更改的任何时间再次调用。

  • 实现evaluate(inputs:outputs:)以定义自定义层的计算行为。 每次模型在CPU上进行预测时,都会调用此方法。

  • (可选)如果您希望该层有资格在GPU上运行,请实现encode(commandBuffer:inputs:outputs:)。 此方法不保证在GPU上执行。

重要:不要修改传递给这些函数的结构(权重,输入或输出)中的任何内存。


Integrate the Layer - 整合图层

预测工作流程与没有任何自定义图层的模型相同。 在实现MLCustomLayer协议的情况下,相同的prediction(from:)方法适用于您的模型。 将您的自定义Core ML模型与原始实现进行比较,以确保准确性。使用您在创建网络时使用的测试用例来验证Core ML模型的行为。

后记

本篇主要讲述了创建自定义图层,感兴趣的给个赞或者关注~~~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容