iOS数据库技术进阶

iOS数据库技术进阶
http://www.jianshu.com/p/217a769f184e

数据库的技术选型一直是个令人头痛的问题,之前很长一段时间我都是使用的FMDB,做一些简单的封装。有使用过synchronized同步,也有用FMDB的DB Queue总之,差强人意。

缺点

FMDB只是将SQLite的C接口封装成了ObjC接口,没有做太多别的优化,即所谓的胶水代码(Glue Code)。使用过程需要用大量的代码拼接SQL、拼装Object,每一个表都要写一堆增删改查,并不方便。

数据库版本升级不友好,特别是第一次安装时会把所有的数据库升级代码都跑一遍。

优化

1.自动建表建库:开发者可以便捷地定义数据库表和索引,并且无须写一坨胶水代码拼装对象。

2.开发者无须拼接字符串,即可完成SQL的条件、排序、过滤、更新等等语句。

3.多线程高并发:基本的增删查改等接口都支持多线程访问,开发者无需操心线程安全问题

4.多级缓存,表数据,db信息,队列等等,都会缓存。

以上说的几点我会用微信读书开源的GYDatacenter为例,在下面详细介绍其原理和逻辑。

更加深入的优化:
加密:WCDB提供基于SQLCipher的数据库加密。
损坏修复: WCDB内建了Repair Kit用于修复损坏的数据库。
反注入: WCDB内建了对SQL注入的保护
腾讯前一阵开源的微信数据库WCDB包括了上面的所有优化
我以前分享的SQLite大量数据表的优化

如果你对ObjC的Runtime不是很了解,建议你先阅读我以前写的:RunTime理解与实战之后再阅读下面的内容

GYDatacenter

1.可以用pod或者Carthage集成GYDatacenter。然后使你的模型类继承GYModelObject:

@interface Employee : GYModelObject
@property (nonatomic, readonly, assign) NSInteger employeeId;
@property (nonatomic, readonly, strong) NSString *name;
@property (nonatomic, readonly, strong) NSDate *dateOfBirth;
@property (nonatomic, readonly, strong) Department *department;
@end

2.重写父类的方法

+ (NSString *)dbName {
    return @"GYDataCenterTests";
}

+ (NSString *)tableName {
    return @"Employee";
}

+ (NSString *)primaryKey {
    return @"employeeId";
}

+ (NSArray *)persistentProperties {
    static NSArray *properties = nil;
    if (!properties) {
        properties = @[
                       @"employeeId",
                       @"name",
                       @"dateOfBirth",
                       @"department"
                       ];
    });
    return properties;
}

3.然后你就可以像下面这样保存和查询model类的数据了:

Employee *employee = ...
[employee save];

employee = [Employee objectForId:@1];
NSArray *employees = [Employee objectsWhere:@"WHERE employeeId < ? 
ORDER BY employeeId" arguments:@[ @10 ]];

model的核心是实现GYModelObjectProtocol协议

#import <Foundation/Foundation.h>

typedef NS_ENUM(NSUInteger, GYCacheLevel) {
    GYCacheLevelNoCache,   //不缓存
    GYCacheLevelDefault,    //内存不足优先清理
    GYCacheLevelResident  //常驻
};

@protocol GYModelObjectProtocol <NSObject>

@property (nonatomic, getter=isCacheHit, readonly) BOOL cacheHit;
@property (nonatomic, getter=isFault, readonly) BOOL fault;
@property (nonatomic, getter=isSaving, readonly) BOOL saving;
@property (nonatomic, getter=isDeleted, readonly) BOOL deleted;

+ (NSString *)dbName;     //db名
+ (NSString *)tableName;  //表名
+ (NSString *)primaryKey; //主键
+ (NSArray *)persistentProperties; //入表的列

+ (NSDictionary *)propertyTypes;   //属性类型
+ (NSDictionary *)propertyClasses; //属性所在的类
+ (NSSet *)relationshipProperties; //关联属性

+ (GYCacheLevel)cacheLevel; //缓存级别

+ (NSString *)fts; //虚表

@optional
+ (NSArray *)indices; //索引
+ (NSDictionary *)defaultValues; //列 默认值

+ (NSString *)tokenize; //虚表令牌

@end

自动建表建库,更新表字段

只要你定义好了你的模型类的属性,当你准备对表数据进行增删改查操作的时候,你不需要手动的去创建表和数据库,你应该调用统一的建表接口。
如果表已经建好了,当你增加表字段(persistent properties),GYDataCenter也会自动给你更新。我画了一个图:

注意:⚠️However, GYDataCenter CANNOT delete or rename an existing column. If you plan to do so, you need to create a new table and migrate the data yourself.
GYDataCenter不能删除和重命名已经存在的列,如果你一定要这么做,需要重新建一张表并migrate数据。

GYDataCenter还可以自动的管理索引(indices),缓存(cacheLevel),事务等等。

以查询为例:

NSArray *employees = [Employee objectsWhere:@"WHERE employeeId < 
? ORDER BY employeeId"  arguments:@[ @10 ]];

不需要为每一个表去写查询接口,只要在参数中写好条件即可。开发者无须拼接字符串,即可完成SQL的条件、排序、过滤、更新等等语句。

思考

NSArray *array = [DeptUser objectsWhere:
@",userinfo where deptUsers.uid = userinfo.uid" arguments:nil];

如果参试这样写联合查询,会产生一个错误!

原因是:查询结果FMResultSet是按index解析通过KVC赋值modelClass的属性。
你可以通过指定arguments或者调用指定的联合查询接口joinObjectsWithLeftProperties来解决这个问题

下面是我在其源码中写了一个按字段解析方式来验证这个问题,有兴趣的可以看一下。

- (void)setProperty:(NSString *)property ofObject:object withResultSet:(FMResultSet *)resultSet{
    Class<GYModelObjectProtocol> modelClass = [object class];
    GYPropertyType propertyType = [[[modelClass propertyTypes] objectForKey:property] unsignedIntegerValue];
    Class propertyClass;
    if (propertyType == GYPropertyTypeRelationship) {
        propertyClass = [[modelClass propertyClasses] objectForKey:property];
        propertyType = [[[propertyClass propertyTypes] objectForKey:[propertyClass primaryKey]] unsignedIntegerValue];
    }

    id value = nil;
    if (![self needSerializationForType:propertyType]) {
        if (propertyType == GYPropertyTypeDate) {
            value = [resultSet dateForColumn:property];
        } else {
            value = [resultSet objectForColumnName:property];
        }
    } else {
        NSData *data = [resultSet dataForColumn:property];
        if (data.length) {
            if (propertyType == GYPropertyTypeTransformable) {
                Class propertyClass = [[modelClass propertyClasses] objectForKey:property];
                value = [propertyClass reverseTransformedValue:data];
            } else {
                value = [self valueAfterDecodingData:data];
            }
            if (!value) {
                NSAssert(NO, @"database=%@, table=%@, property=%@", [modelClass dbName], [modelClass tableName], property);
            }
        }
    }
    if ([value isKindOfClass:[NSNull class]]) {
        value = nil;
    }

    if (propertyClass) {
        id cache = [_cacheDelegate objectOfClass:propertyClass id:value];
        if (!cache) {
            cache = [[(Class)propertyClass alloc] init];
            [cache setValue:value forKey:[propertyClass primaryKey]];
            [cache setValue:@YES forKey:@"fault"];
            [_cacheDelegate cacheObject:cache];
        }
        value = cache;
    }
    if (value) {
        [object setValue:value forKey:property];
    }
}

多线程高并发

多线程同步FMDB已经给我们提供了FMDatabaseQueue,我们可以进一步封装为同步和异步 。

- (void)asyncInDatabase:(void (^)(FMDatabase *db))block {
    FMDatabaseQueue *currentSyncQueue = (__bridge id)dispatch_get_specific(kDatabaseQueueSpecificKey);

    FMDBRetain(self);

    dispatch_block_t task = ^() {

        FMDatabase *db = [self database];
        block(db);

        if ([db hasOpenResultSets]) {
            NSLog(@"Warning: there is at least one open result set around after performing [FMDatabaseQueue asyncInDatabase:]");

#ifdef DEBUG
            NSSet *openSetCopy = FMDBReturnAutoreleased([[db valueForKey:@"_openResultSets"] copy]);
            for (NSValue *rsInWrappedInATastyValueMeal in openSetCopy) {
                FMResultSet *rs = (FMResultSet *)[rsInWrappedInATastyValueMeal pointerValue];
                NSLog(@"query: '%@'", [rs query]);
            }
#endif
        }
    };

    if (currentSyncQueue == self) {
        task();
    } else {
        dispatch_async(_queue, task);
    }

    FMDBRelease(self);
}

- (void)syncInDatabase:(void (^)(FMDatabase *db))block {
    FMDatabaseQueue *currentSyncQueue = (__bridge id)dispatch_get_specific(kDatabaseQueueSpecificKey);

    FMDBRetain(self);

    dispatch_block_t task = ^() {

        FMDatabase *db = [self database];
        block(db);

        if ([db hasOpenResultSets]) {
            NSLog(@"Warning: there is at least one open result set around after performing [FMDatabaseQueue syncInDatabase:]");

#ifdef DEBUG
            NSSet *openSetCopy = FMDBReturnAutoreleased([[db valueForKey:@"_openResultSets"] copy]);
            for (NSValue *rsInWrappedInATastyValueMeal in openSetCopy) {
                FMResultSet *rs = (FMResultSet *)[rsInWrappedInATastyValueMeal pointerValue];
                NSLog(@"query: '%@'", [rs query]);
            }
#endif
        }
    };

    if (currentSyncQueue == self) {
        task();
    } else {
        dispatch_sync(_queue, task);
    }

    FMDBRelease(self);
}

FMDatabaseQueue已经帮你解决了线程同步死锁问题,并且并行队列,可以高并发。微信读书的开发团体之前也说过暂时并没有遇到队列瓶颈,相信FMDatabaseQueue还是值得信赖的。
dispatch_sync(queue,task) 会阻塞当前线程, 直到queue完成了你给的task。

缓存

多级缓存:我们应该在数据表(model),数据库信息,dbQueue,等建立多级缓存。model用字典缓存,其他可以用dispatch_get_specific或者运行时objc_setAssociatedObject关联。
当然,缓存必须是可控的。有一个全局控制开关和清除机制,我们查询时,如果model有缓存就取缓存,没有就读DB并添加缓存。并且在更新表数据或者删除时,更新缓存。

注意⚠️ 默认属性都是readonly,因为每一个数据表都会有一个缓存。如果你需要改变model的属性值,你必须加同步锁🔒。或者像下面这样:

@interface Employee : GYModelObject
@property (atomic, assign) NSInteger employeeId;
@property (atomic, strong) NSString *name;
@property (atomic, strong) NSDate *dateOfBirth;
@property (atomic, strong) Department *department;
@end

Relationship & Faulting

像前面的Employee类,Department类是它的一个属性,这叫做Relationship(关联)。需要在.m文件中动态实现

@dynamic department;
//use
[employee save];
[employee.department save];

当你查询Employee时,Department属性仅仅是用Department表的主键当占位符。当你employee.department.xx访问department的属性时,会自动动态的加载department的信息,这叫做Faulting。减少您的应用程序使用的内存数量,提高查询速度。

有兴趣的可以研究腾讯前一阵开源的微信数据库WCDB,或者等我下一次分享。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容

  • 数据库的技术选型一直是个令人头痛的问题,之前很长一段时间我都是使用的FMDB,做一些简单的封装。有使用过synch...
    wu大维阅读 3,524评论 9 55
  • 概论 所谓的持久化,就是将数据保存到硬盘中,使得在应用程序或机器重启后可以继续访问之前保存的数据。在iOS开发中,...
    Leeson1989阅读 1,817评论 4 1
  • 今天七号,长假马上就要结束了。 安静的假期里,回头一看,做了好多事儿…… > 1.新媒体运营在线课程学习,累计时间...
    殷春燕阅读 209评论 0 0
  • RACCommand RACCommand 属性与方法
    李潇南阅读 506评论 0 0
  • 树下躺着一直鲸 人问,你从哪来 它说,来自那片金色的海洋 人问,那金色多令人神往,你又怎舍得那个地方 它说,你不知...
    没有哪座不能逾越的山阅读 111评论 0 0