iOS - 第三方输入法App原理调研、App Group数据共享

本文Demo同步Github

前言

为啥我一个做社交、直播、图片后编辑方向的iOS开发突然想学输入法开发呢,这一切还得从我看到搜狗输入法的招聘JD说起....

我看到搜狗输入法的招聘里写到一条:了解逆向优先,此时我有个疑问,做输入法App开发和逆向有什么关系? 于是就有了想了解输入法App开发的兴趣,也就有个这篇文章

首先在写这个前言的时候,我是压根不知道输入法怎么开发的。当想到要做一个输入法App时,我有如下疑问

  1. 为什么安装了搜狗输入法App后,系统键盘设置里会出现搜狗输入法,且有完全访问的选项(UISwith),完全访问是做什么的?
  2. 为什么安装了搜狗输入法App后,在我自己的App里调起输入法后,调起的是第三方的搜狗输入法键盘
  3. 搜狗输入法App和搜狗输入法键盘两者之间有什么关联? 如何关联?
  4. 第三方输入法和逆向之间有什么关联?逆向知识能为输入法类App带来什么?

如果你也有以上疑问,请耐心看下去(其实写到此处时能不能解答我也不知道... 下文均有解答)

本文目录:

  1. 调研着手
  2. App实现(简单实现一个能在其它App内使用的输入法App)
  3. 输入法类App原理
  4. 输入法App和逆向(个人瞎猜,可能鲁迅人本身根本没这么想)

1. 调研着手

1.1 砸壳

因为了解输入法App的念头起源于逆向,所以此处我先砸壳,看看什么发现...

在砸完搜狗输入法壳后,看ipa内部的文件,我并没有看到与其它App有什么区别,无非是icon资源,infoPlist,.mpa资源,Frameworkslottie json文件夹开启完全访问的.mp4教程MJRefresh等第三方库/PlugIns/SogouAction.appex以及mach-o

通过ipa,我发现两个关键点:

  1. 搜狗工程师比较喜欢用plist做配置类数据存储(这点我觉得挺挺好的,便于管理,当然用.json也没问题)
  2. plugins路径下,有一个SogouAction.appex文件,.appex一般是iOS拓展Extension生成的文件,比如接入NotificationService同样会生成push.appex文件

此时,我对百度输入法同样进行砸壳操作,发现在PlugIns文件夹下,同样有BaiduInputMethod.appexNotificationContent.appex这两个.appex结尾的文件

此时根据直觉,我觉得输入法类App的关键在添加了一个类似于inputKeyboard的拓展Extension实现

1.2 class-dump

头文件里搜索了SogouAction仍然一无所获

1.3 Reveal

简单看了下搜狗的UI架构,想通过Reveal看看能不能找出对应的class,结果不但没找到,Reveal里压根没显示出来键盘的UI(键盘是系统层UI,所有Reveal不到)。想到我们的目标是了解如何开发一个输入法App。此时我们暂时停止逆向,直接去百度...

1.3 利用搜索引擎

百度搜到的东西很少,大多是检测键盘弹出高度,只搜到关键性的三篇文章:

Keyboards and Input

iOS输入法_开发系统架构

iOS输入法开发(Swift)

其中文章一是苹果官方文档,主要讲构建输入法App用到的API
其中文章二主要将输入法App的App架构与通信,通过此文章我们大概知道为什么搜狗的iOS需要逆向经验
其中文章三是构建一个简单的输入法App
我决定跟着文章三开发一个简单的App,了解其原理

2. App搭建

2.1 创建一个名为InputApp的项目(为了练练手,我们采用OC编码,与链接内不同,后续我应该会创建Swift版本上传Github)

创建项目

2.2 创建键盘Target

拓展Target命名为CustomKeyboard

CustomKeyboard

弹出Activate “CustomKeyboard” scheme? 选择activate

此时我们注意到,添加CustomKeyboard后,默认生成了一个类KeyboardViewController

image.png

!!! 注意一个很容易忽视的问题:记得修改CustomKeyboard Target支持的最低版本,如果支持的最低版本高于设备版本,xcode编译时不会报错,但运行时这个target不会运行,添加NotificationService时同样有这个容易忽视的问题

此时我们启动App,在设置-通用-键盘-添加键盘里能看到我们的自定义键盘,同时,也有开启完全访问的选项

<center class="half">
<img src="https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cd521dabf02e448f9c5e13561773e081~tplv-k3u1fbpfcp-watermark.image" width="200"/> <> <img src="https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c0064cb4727d40d8b0fc809060529240~tplv-k3u1fbpfcp-watermark.image" width="200"/> <> <img src="https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5c3fc8f9bb244e5aa16fb69c8064c84e~tplv-k3u1fbpfcp-watermark.image"
width = "200">
</center>

添加键盘后,我们将键盘切换到我们自定义的键盘,任意App内调起键盘可以看到如图

<center class="half">
<img src="https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/79496fdbb6cc435b9a24de9928df0e44~tplv-k3u1fbpfcp-watermark.image" width="200"/> <> <img src="https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/38a51d7209194ab1a071807cb8146a25~tplv-k3u1fbpfcp-watermark.image" width="200"/>
</center>

此时弹出我们的自定义键盘,可以看到,键盘有一个添加Extension时默认生成代码的button。我们将会在KeyboardViewController类里做键盘的自定义布局

2.3 键盘UI布局

我把源码上传到了Github
CCInput

键盘的UI布局我以简单以搜狗输入法的数字键盘为例,这里附上代码说明,具体请查看Demo代码

KeyboardViewController 创建keyboard extension时,系统自动创建的vc,继承自UIInputViewController,键盘的布局、逻辑处理都在此类中

CCLeftTableView 左侧符号输入,是一个TabView,,支持增加符号数据源

CCCenterView 中间数字键盘及底部切换、数字0、空格功能

CCRightView 右侧删除、句号、@符号、换行功能

CCKeyboardModel 键盘数据源Model,Model有两个属性,分别是

NSString *string 用于键盘按钮文本的展示
CCKeyboardAction keyboardAction 是点击事件的枚举类型,点击键盘的时候通过此属性统一处理

简单的写了个通过runtime自动获取属性解析json为model的方法

主要是UI和数据结构,此处不深入探究,感兴趣请看demo,此处有个自定义键盘高度的坑注意下:

  1. 通过简单的setframe无法更改键盘默认高度
  2. 需要通过设置NSLayoutConstraint的方式,切在viewDidLoad方法中设置无效
  3. 需在viewDidAppear之前设置键盘高度

这个问题的解决方案因为国内做键盘的公司比较少,百度搜索不到相关资料,附上stackoverflow链接
stackoverflow: iOS 8 Custom Keyboard: Changing the Height

Demo效果:

Demo效果.gif

同时附上Demo中代码


static CGFloat KEYBOARDHEIGHT = 256;

@interface KeyboardViewController ()
<CCTopBarDelegate,
CCLeftViewDelegate,
CCCenterViewDelegate,
CCRightViewDelegate>


/// 用于设置键盘自定义高度
@property (nonatomic, assign) NSLayoutConstraint *heightConstraint;

@end

@implementation KeyboardViewController

- (void)prepareHeightConstraint {
    if (self.heightConstraint == nil) {
        UILabel *dummyView = [[UILabel alloc] initWithFrame:CGRectZero];
        dummyView.translatesAutoresizingMaskIntoConstraints = NO;
        [self.view addSubview:dummyView];
        
        self.heightConstraint = [NSLayoutConstraint constraintWithItem:self.view attribute:NSLayoutAttributeHeight relatedBy:NSLayoutRelationEqual toItem:nil attribute:NSLayoutAttributeNotAnAttribute multiplier:0.0 constant:KEYBOARDHEIGHT];
        self.heightConstraint.priority = 750;
        [self.view addConstraint:self.heightConstraint];
    } else {
        self.heightConstraint.constant = KEYBOARDHEIGHT;
    }
}

- (void)viewWillAppear:(BOOL)animated {
    [super viewWillAppear:animated];
    [self prepareHeightConstraint];
}

/// 重写的父类方法,苹果建议在此处updateViewConstraints
- (void)updateViewConstraints {
    [super updateViewConstraints];

    if (self.view.frame.size.width == 0 && self.view.frame.size.height == 0) {
        return;
    }
    [self prepareHeightConstraint];
}

UIInputViewController 涉及到的方法说明:

  • advanceToNextInputMode 切换到下一个输入法
  • dismissKeyboard 退出键盘(相当于resignFirstResponder
  • insertText 插入文本(尾部)
  • deleteBackward 删除输入框内上一个文本

3. 输入法类App原理

3.1 主程序与键盘拓展的关系

图源自网络

第三方输入法,分为主程序(containing App)、键盘(extension), 分别对应Demo中的InputAppCustomKeyboard, 主程序在桌面可见,Host App则是使用输入法的其它App,

  • 主程序和键盘Extension正常情况是无法共享数据的(沙箱隔离)

  • 在开启完全访问时,主程序和键盘Extension可以共享数据(通过app groups)

  • 主程序和Host App无法共享数据(沙箱隔离)

  • 键盘Extension和Host App只能共享文本数据(通过系统UITextDocumentProxy)

3.2 完全访问

在设置-通用-键盘中,苹果有对完全访问做说明,摘录如下

第三方键盘提供了另一种途径来键入键盘数据。这些键盘可以访问您键入的所有数据,包括银行账户、信用卡号码、街道地址及其他个人信息与敏感信息。这些键盘还可能访问相邻文本及数据,这些信息对改进自动更正功能卓有帮助。

如果您启用“完全访问”,开发者即获得许可访问、收集与传输您键入的数据。此外,如果附带键盘的第三方应用程序获得您的许可访问地理位置信息、照片、或其他个人数据,那么此键盘也可收集并将该信息传输至键盘开发者的服务器上。如果您停用某第三方键盘的“完全访问”,之后再重新启用,那么键盘开发者则可能能够访问、收集并传输网络访问禁用期间所键入的信息。

如果您不启用“完全访问”,那么开发者则不可收集与传输您键入的数据。未经您许可,任何未授权的数据收集或传输行为均违反其开发者协议。此外,技术限制同样在防止未经许可的访问方面起作用。任何试图破坏此类限制的尝试同样违反开发者协议。

你任何时候均可选择停用第三方键盘。打开“设置”,轻点“键盘”,将该键盘从键盘列表中移除即可。

如果您使用第三方键盘,即需遵守键盘开发者的条款、隐私政策及做法。使用此类键盘App与服务之前,您应仔细阅读其条款、隐私政策和做法,以了解他们如何使用您的数据及其他信息。

总结就是,只有开启了完全访问,输入法App才能:

  • 访问、收集、传输输入的数据
  • 访问并上传位置、照片、个人数据(通讯录之类权限隐私数据)
  • 如果开启之后又关闭,那么开发者还是能够传输禁用期间的数据
  • 如果不开启,那么因为苹果的技术限制(沙箱),开发者并不能上传键盘Extension获取到的数据

3.3 App Groups数据共享

官方文档:Sharing Data with Your Containing App

app_extensions_container_restrictions_2x.png

简单来说,开启了app groups,相当于生成一个中间数据共享区(shared container)来将App's containerExtension's container的数据关联并共享

通过以下方式就可以共享数据

// Create and share access to an NSUserDefaults object
NSUserDefaults *mySharedDefaults = [[NSUserDefaults alloc] initWithSuiteName: @"com.example.domain.MyShareExtension"];
 
// Use the shared user defaults object to update the user's account
[mySharedDefaults setObject:theAccountName forKey:@"lastAccountName"];

4 输入法App和逆向(个人瞎猜,可能鲁迅人本身根本没这么想)

通过上文3.1 3.2 3.3我们知道, 主App和Extension之间要想共享数据,必须开启完全访问通过App Groups的方式共享数据,对于一款键盘类App,他肯定是希望App和Extension能实现数据共享,以达到以下需求:

  • 实时更新网络高频热词,用于联想输入
  • 共享键盘皮肤
  • 存储用户高频输入的词汇、通讯录等数据,上传服务端,当用户换设备时,能同步并共享给新设备的Extension

但是由于沙箱的限制,如果用户没有开启完全访问,以上三点需求就达不成了。事实上以上三点需求对我这样的用户来说非常重要,无缝衔接切换设备的快感是无法形容的,比如当我在iPhone上输入ma后,我选择了联想词汇表中的码代码的小马,然后当我在mac上使用搜狗输入法同样输入ma,mac也联想到了码代码的小马,这样会将我的输入效率提高很多

此时就用到了逆向技术
苹果有沙箱隔离,逆向里有沙箱逃脱(沙箱逃脱详细解释请参考我之前文章沙箱逃脱)

沙箱逃脱简单来说就是跨进程访问数据共享数据,放在这里就是,即使用户不开启完全访问,主App也能访问Extension的数据,以实现如上三点需求。

只是目前沙箱逃脱技术只能在越狱设备实现,也许未来某一天某个大牛实现了在未越狱设备的沙箱逃脱,那对于逆向开发者来说,简直是这盛世如你所愿,大好河山任你看...

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,012评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,589评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,819评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,652评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,954评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,381评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,687评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,404评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,082评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,249评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,864评论 3 232
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2 259

推荐阅读更多精彩内容