iOS开发-SiriKit应用

关于SiriKit

在6月14日凌晨的WWDC2016大会上,苹果提出iOS10是一次里程碑并且推出了十个新特性,大部分的特性是基于iPhone自身的原生应用的更新,具体的特性笔者不在这里再次叙述,请看客们移步WWDC2016下载自行观赏。要说里程碑在笔者看来有些夸大其实了,不过新增的通知中心联动3D Touch确实为人机交互带来新的发展,另外一个最大的亮点在于Siri的接口开放。在iOS10中提供了SiriKit框架在用户使用Siri的时候会生成INExtension对象来告知我们的应用,通过实现方法来让Siri获取应用想要展示给用户的内容

Siri服务

iOS10之后,苹果希望Siri能够给用户带来更多的功能体验,基于这个出发点,新增了SiriKit框架。Siri通过语言处理系统对用户发出的对话请求进行解析之后生成一个用来描述对话内容的Intents事件,然后通过SiriKit框架分发给集成框架的应用程序以此来获取应用的内容,比如完成类似通过文字匹配查找应用聊天记录、聊天对象的功能,此外它还支持为用户使用苹果地图时提供应用内置服务等功能。通过官方文档我们可以看到SiriKit框架支持的六类服务分别是:

  • 语音和视频通话
  • 发送消息
  • 收款或者付款
  • 图片搜索
  • 管理锻炼
  • 行程预约

SiriMaps通过Intents extension的扩展方式和我们的应用进行交互,其中,类型为INExtension的对象扮演着Intents extension扩展中直接协同Siri对象共同响应用户请求的关键角色。当我们实现了Intents extension扩展并产生了一个Siri请求事件时,一个典型的Intent事件的处理过程中总共有这三个步骤ResolveConfirmHandle

  • Resolve阶段。在Siri获取到用户的语音输入之后,生成一个INIntent对象,将语音中的关键信息提取出来并且填充对应的属性。这个对象在稍后会传递给我们设置好的INExtension子类对象进行处理,根据子类遵循的不同服务protocol来选择不同的解决方案

  • Confirm阶段。在上一个阶段通过handler(for intent:)返回了处理intent的对象,此阶段会依次调用confirm打头的实例方法来判断Siri填充的信息是否完成。匹配的判断结果包括Exactly one matchTwo or more matches以及No match三种情况。这个过程中可以让Siri向用户征求更具体的参数信息

  • confirm方法执行完成之后,Siri进行最后的处理阶段,生成答复对象,并且向此intent对象确认处理结果然后执显示结果给用户看


具体的执行过程请参考文档讲解视频

创建Intents Extension

SiriKit通过添加App Extension的方式来完成集成,这是一种独立于应用本身运行的代码结构,作为应用的扩展功能,只有在需要的时候系统会唤醒这些Extension代码来执行任务,然后在执行完毕之后将其杀死。另一方面,这些Extension在运行过程中的可占用内存是较少的,并且由于调用时机的限制,我们也无法在运行期间做一些坏事


现阶段集成SiriKit的条件是需要将开发工具升级到Xcode8,需要使用开发者账号到官方网站去下载Xcode8_beta版,并且需要将一台测试设备升级到iOS10系统。选中我们的应用,进入项目总览界面,新增一个TARGET


如上图所示,我创建的Intents Extension被我命名为LXDSiriExtension。记住在创建好一个Extension的时候,会询问你是否激活这个扩展,勾选是。另外还会提示你是否连同Intents UI Extension一并创建了,我们同样选是。这样我们在项目下面总共创建了LXDSiriExtensionLXDSiriExtensionUI两个TARGET,这两个文件目录下面分别存在着一个新的info.plist文件,这个文件用来设置intent事件发生时我们设置的处理类。这里借用WWDC在讲解时的一张ppt来了解:

按图中的层次展开,IntentsSupportedIntentsRestrictedWhileLocked分别是两个字符串数组,每一个字符串表示的是应用扩展处理的intent事件的类名。前者表示支持的事件类型,后者表示在非锁屏状态下执行的事件类型。文件默认是workout类型的事件,在这里笔者改成了发送消息INSendMessageIntent。除此之外,NSExtensionPrincipalClass对应的是INExtension子类类名,这个类用来获取处理intent事件的类。
plist设置

另外,官方讲解中提到了Embedded frameworks,在session中苹果开发人员通过一个消息聊天应用来示例集成SiriKit。由于应用扩展自身的运行机制和应用本身的运行机制不同,彼此之间创建的类是不能访问使用的。因此把我们需要的类开发成frameworks的方式导入我们的应用之后就能够在两种之中都使用到这些类。本文未使用frameworks导入功能,而是模拟了一个类用来管理事件处理过程中的部分逻辑,但是Embedded frameworks这个使用的准则需要记住。这个模拟类的具体代码如下:

import Intents

class LXDMatch {
    var handle: String?
    var displayName: String?
    var contactIdentifier: String?

    convenience init(handle: String, _ displayName: String, _ contactIdentifier: String) {
        self.init()
        self.handle = handle
        self.displayName = displayName
        self.contactIdentifier = contactIdentifier
    }

    func inPerson() -> INPerson {
        return INPerson(handle: handle!, displayName: displayName, contactIdentifier: contactIdentifier)
    }
}

class LXDAccount {
    private static let instance = LXDAccount()

    private init() {
        print("only call share() to get an instance of LXDAccount")
    }

    class func share() -> LXDAccount {
        return LXDAccount.instance
    }

    func contact(matchingName: String) -> [LXDMatch] {
        return [LXDMatch(handle: NSStringFromClass(LXDSendMessageIntentHandler.classForCoder()), matchingName, matchingName)]
    }

    func send(message: String, to recipients: [INPerson]) -> INSendMessageIntentResponseCode {
        print("Send a message: \"\(message)\" to \(recipients)")
        return .success
    }
}

在完成这些需要的工作之后,我们还需要对应用本身的Info.plist配置文件进行设置,新增一个关键字为NSSiriUsageDescription的字符串对象,对应填写的字符串将在我们征询用户Siri权限的时候显示给用户看。比如Siri想要访问您的应用信息之类的提示语。然后通过INPreferences类方法向用户请求Siri访问权限

import Intents

INPreferences.requestSiriAuthorization {
    switch $0 {
    case .authorized:
        print("用户已授权")
        break
            
    case .notDetermined:
        print("未决定")
        break

    case .restricted:
        print("权限受限制")
        break
            
    case .denied:
        print("拒绝授权")
        break
    }
}

代码实现

首先我们需要一个INExtension的子类,你也可以在默认创建的子类中实现代码。在方法中,我们通过判断intent的类型来创建对应的处理者实例,然后返回。在本文的示例中,假设我们对Siri说出这么一句话 Siri,在微信上告诉我的家人们今天我不回去吃饭了

class LXDIntentHandler: INExtension {
    override func handler(for intent: INIntent) -> AnyObject? {
    
        if intent is INSendMessageIntent {
            return LXDSendMessageIntentHandler()
        }
        //  这里可以判断更多类型来返回
        return nil
    }
}

通过判断intent事件是发送消息的聊天事件后,笔者创建了一个用来处理事件的LXDSendMessageIntentHandler类对象,并且返回。在对象创建完成之后需要完成ResolveConfirmHandle三个步骤,具体操作需要子类遵循实现INSendMessageIntentHandling协议来完成:

  • Resolve阶段
    这个阶段需要我们找到消息的具体接收者。在这个过程中,可能会出现三种情况:Exactly one matchTwo or more matches以及No matches,对于这三种情况的处理分别如下:

    func resolveRecipients(forSendMessage intent: INSendMessageIntent, with completion: ([INPersonResolutionResult]) -> Void) {
          if let recipients = intent.recipients {
              var resolutionResults = [INPersonResolutionResult]()
              for  recipient in recipients {
                  let matches = LXDAccount.share().contact(matchingName: recipient.displayName)
                  switch matches.count {
                  case 2...Int.max:    //两个或更多匹配结果
                      let disambiguations = matches.map { $0.inPerson() }
                      resolutionResults.append(INPersonResolutionResult.disambiguation(with: disambiguations))
                  break
              
                  case 1:  //一个匹配结果
                      let recipient = matches[0].inPerson()
                  resolutionResults.append(INPersonResolutionResult.success(with: recipient))
                      break
                  
                  case 0:  //无匹配结果
                      resolutionResults.append(INPersonResolutionResult.unsupported(with: .none))
                      break
    
                  default:
                      break
                  }
              }
              completion(resolutionResults)
          } else {
              //未从用户语音中提取到信息,需要向用户征询更多关键信息
              completion([INPersonResolutionResult.needsValue()])
          }
      }
    

    上面的代码用来确认出消息中的我的家人们指代的是哪些人,其中每个联系人最终用一个INPerson的对象来表示。接着我们需要匹配消息的内容:
    func resolveContent(forSendMessage intent: INSendMessageIntent, with completion: (INStringResolutionResult) -> Void) {
    if let text = intent.content where !text.isEmpty {
    completion(INStringResolutionResult.success(with: text))
    } else {
    //向用户征询发送的消息内容
    completion(INStringResolutionResult.needsValue())
    }
    }
    在匹配完消息接收者跟消息内容之后,对于intent事件的处理就会进入第二阶段Confirm确认值是否正确

  • Confirm阶段
    在这个阶段intent对象本身的信息预计是已经完成填充的,我们通过获取这些填充值来判断是否符合我们的要求。同时在这个阶段,Siri会尝试唤醒应用来准备完成最后的处理操作。前面说了为了保证在应用和应用拓展之间能够进行通信,最好使用frameworks的方式来标记应用是否被启动,再进行相应操作。
    func confirm(sendMessage intent: INSendMessageIntent, completion: (INSendMessageIntentResponse) -> Void) {
    /// let content = intent.content
    /// let recipients = intent.recipients
    /// do or judge in content & recipients
    completion(INSendMessageIntentResponse(code: .success, userActivity: nil))
    /// Launch your app to do something like store message record
    /// Use a singleton in frameworks to remark if the app has launched
    /// if not launched, use the code following
    /// completion(INSendMessageIntentResponse(code: .failureRequiringAppLaunch, userActivity: nil))
    }
    Confirm阶段是我们最后可以尝试修改intent事件中传递的数值的时候。要记住一点,完全精确的内容固然是最好的答案,但是过多的让Siri询问用户参数的详细信息也会导致用户的抵触

  • Handle阶段
    Handle阶段不需要做太多额外的工作,判断一下消息接收者或消息内容是否存在,如果存在,执行类似保存/发送的工作,然后完成。否则告诉Siri本次的intent事件处理处理失败,我们还可以通过配置NSUserActivity对象来告诉Siri失败的原因
    func handle(sendMessage intent: INSendMessageIntent, completion: (INSendMessageIntentResponse) -> Void) {
    if intent.recipients != nil && intent.content != nil {
    /// do some thing success send message
    let success = LXDAccount.share().send(message: intent.content!, to: intent.recipients!)
    completion(INSendMessageIntentResponse(code: success, userActivity: nil))
    } else {
    let userActivity = NSUserActivity(activityType: String(INSendMessageIntent))
    userActivity.userInfo = [NSString(string: "error") : String("AppDidNotLaunch")]
    completion(INSendMessageIntentResponse(code: .failure, userActivity: userActivity))
    }
    }

事件UI

可以看到上面的代码主要集中在事件处理的逻辑上,那么在和Siri交互的过程中,我们同样可以让Siri展示响应的自定义界面:


在我们创建Intents Extension的时候,同时Xcode也询问我们是否创建Intents UI Extension。在后者的文件目录下也有一个Info.plist,有着跟前面类似的键值对,差别在于后者只有一个状态的设置。

在这个文件目录下存在一个故事板MainInterface,这个故事板就是Siri和应用交互时展示给用户看的界面。通过修改这个故事板的界面元素,就可以实现上图中的效果了。此外,在这个界面将要展示之前,我们可以修改类文件中的代码完成界面信息填充的操作:

func configure(with interaction: INInteraction!, context: INUIHostedViewContext, completion: ((CGSize) -> Void)!) {
    //这里执行界面设置的代码,完成之后执行completion代码就会让界面展示出来
    if let completion = completion {
        completion(self.desiredSize)
    }
}

var desiredSize: CGSize {
    return self.extensionContext!.hostedViewMaximumAllowedSize
}

尾言

在观看WWDC2016的新特性的时候,最开始给Siri和应用的交互惊艳到了。但是后来阅读文档发现这种交互仍然存在着过多的限制,整体而言并没有对Siri的使用带来更明显的提升。但是毫无疑问,这种交互如果苹果能继续对其进行补充发展,可以给我们的应用带来更多的新活力。
文集:iOS开发

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容

  • WWDC2016,Apple发布了ios10,每次版本发布,都会带来新的接口,新的机会,也能间接的看到Apple的...
    elarc阅读 2,998评论 0 2
  • 一、SiriKit介绍 Siri是一款苹果 iOS 系统提供的智能语音助手软件,它的全名是 Speech Inte...
    火星抄手阅读 5,391评论 15 19
  • 概览 最新的WWDC2016大会上,苹果提出iOS10并推出了十个新特性,homekit、messageapp等等...
    cuagain阅读 2,134评论 0 5
  • 随着iOS10.0发布脚步的临近,作为开发者,相信很多人也和我一样,可以提前体验一些新系统的新功能,也更关注新版i...
    MarkCJ阅读 17,460评论 0 18
  • 1.原文地址2.Additional Framework Changes章节还没来得及翻译,之后会出3.有些不适合...
    subvertWuxu阅读 6,161评论 2 39