iOS H2缓存层替换方案 ---- LevelDB落地实践

为什么要重构?

h2这边的缓存层问题诟病很多。很早之前就想整体规划一下。

目前的主要问题有以下几点:

  1. 主要存储使用plist文件存储
    1. 存储和读取的相应速度都慢
    2. 如果没有文件,需要提前创建文件,徒增性能消耗
    3. 存储数据容易破解。plist可以直接打开
    4. 存储数据没有任何压缩,徒增缓存文件大小
  2. 轻量级存储主要使用了NSUserDefaults
    1. 实质也是plist文件
    2. 如果需要实时存储数据,需要手动调用同步
    3. 都存在于一个文件中,存的越多,读取更新写入的成本越大
    4. 容易滥用,造成不必要的浪费
  3. 还有之前前辈封装的基于sqlite的数据库

结合H2主要的业务。几乎都是轻量级存储,只有个别的计划详情,课程详情,首页数据相对多一些,并且存的场景多一下。所以一直想利用一个NoSQL,替换现有方案。在再三斟酌之后,决定使用LevelDB。

相比于之前的方案,LevelDB主要优点有以下几个方面:

  1. 高可靠。避免数据存储失败的情况
  2. 顺序写。写速度大大提高
  3. k-v存储。API简单方便
  4. 数据压缩。减小存储量,减小APP的数据大小
  5. 比文件存储方式,数据相对不可见
  6. 删除操作不再是文件式的覆盖写入,或者删除文件本身,而是直接处理数据,提升性能

总而言之,整体性能提高了100倍左右。对于卡顿,使用内存,启动耗时都有相应的提升。

层级划分

而我在接入的过程中,使用了两层结构,即一层业务数据格式化,一层数据库操作。主要原因如下:

  1. 方便替换之前的plist存储
  2. 方便后续替换底层数据库,固定上层的业务API
  3. 存储在LevelDB是NSData,上层业务可以传入NSDictionary,NSArray,NSString,NSNumber的基础数据,而不能直接传入一个对象,目的是提高数据格式化的效率。所以在上层进行数据格式化。

具体实现

首先,我们来看一下LevelDB的封装。

LevelDB.h

#import <Foundation/Foundation.h>

@interface LevelDB : NSObject

+ (instancetype)share;

- (void)set:(NSString *)key value:(id)value;
- (id)get:(NSString *)key;
- (void)del:(NSString *)key;

@end

对上层提供增/改,删,查的基础API。

LevelDB.m

#import "LevelDB.h"

#include "db.h"
#include "status.h"
#include "options.h"
#include "slice.h"

#define SliceFromString(_string_) (Slice((char *)[_string_ UTF8String], [_string_ lengthOfBytesUsingEncoding:NSUTF8StringEncoding]))
#define StringFromSlice(_slice_)  ([[NSString alloc] initWithBytes:_slice_.data() length:_slice_.size() encoding:NSUTF8StringEncoding])

static leveldb::DB *db;
static leveldb::Options options;

using namespace leveldb;
static Slice SliceFromObject(id object) {
    NSData *data = nil;
    if ([object isKindOfClass:[NSArray class]]
        || [object isKindOfClass:[NSDictionary class]]) {
        @try {
            NSError *error;
            data = [NSJSONSerialization dataWithJSONObject:object options:NSJSONWritingPrettyPrinted error:&error];
        } @catch(NSException * exception) {
            NSLog(@"%@", exception);
        }
    } else if ([object isKindOfClass:[NSString class]]) {
        data = [object dataUsingEncoding:NSUTF8StringEncoding];
    } else if ([object isKindOfClass:[NSNumber class]]) {
        data = [[NSString stringWithFormat:@"%@", object] dataUsingEncoding:NSUTF8StringEncoding];
    }
    return Slice((const char *)[data bytes], (size_t)[data length]);
}

static id ObjectFromSlice(Slice v) {
    NSData *data = [NSData dataWithBytes:v.data() length:v.size()];
    NSError *error;
    id object = [NSJSONSerialization JSONObjectWithData:data options:NSJSONReadingAllowFragments error:&error];
    if (!object) {
        object = [[NSString alloc]initWithData:data encoding:NSUTF8StringEncoding];
    }
    return object;
}

@implementation LevelDB

+ (instancetype)share {
    static LevelDB *dbManger = nil;
    static dispatch_once_t onceToken;
    dispatch_once(&onceToken, ^{
        dbManger = [[LevelDB alloc]init];
        NSArray *directoryPaths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
        NSString *documentDirectory = [directoryPaths objectAtIndex:0];
        NSString *file = [documentDirectory stringByAppendingPathComponent:@"storage.ldb"];
        options.create_if_missing = true;
        leveldb::Status status = leveldb::DB::Open(options, [file UTF8String], &db);
        if (!status.ok()) {
        }
        NSLog(@"Problem creating LevelDB database: %s", status.ToString().c_str());
    });
    return dbManger;
}

- (void)set:(NSString *)key value:(id)value {
    if (!value) {
        [self del:key];
        return;
    }
    leveldb::Status status = db->Put(leveldb::WriteOptions(), SliceFromString(key), SliceFromObject(value));
    if (!status.ok()) {
        NSString *errorMessage = [NSString stringWithCString:(status.ToString().c_str()) encoding:[NSString defaultCStringEncoding]];
        NSLog(@"levelDB存储失败:%@\nreson:%@\n", key, errorMessage);
    }
}

- (id)get:(NSString *)key {
    std::string strValue;
    leveldb::Status status = db->Get(leveldb::ReadOptions(), SliceFromString(key), &strValue);

    if (!(status.ok())) {
        NSString *errorMessage = [NSString stringWithCString:(status.ToString().c_str()) encoding:[NSString defaultCStringEncoding]];
        NSLog(@"levelDB获取失败:%@\nreson:%@\n",key,errorMessage);
        return nil;
    }
    return ObjectFromSlice(strValue);
}

- (void)del:(NSString *)key {
    std::string strValue;
    leveldb::Status status = db->Delete(leveldb::WriteOptions(), SliceFromString(key));
    if (!status.ok()) {
        NSString *errorMessage = [NSString stringWithCString:(status.ToString().c_str()) encoding:[NSString defaultCStringEncoding]];
        NSLog(@"levelDB删除失败:%@\nreson:%@\n",key,errorMessage);
    }
}

@end

其中,SliceFromObject方法和ObjectFromSlice,可以将OC数据和LevelDB需要的存储数据互相转化。

之前,尝试过 解档归档 的方式来格式化数据,好处是可以传入任意对象来进行存储,但是问题在于,效率太低,数据量增大的情况下,甚至比文件存储的效率更低,瓶颈主要在 归档 这里。

所以,最后确定为只进行NSString,NSNumber,NSArray,NSDictionary的基础数据处理,使用Json进行数据转化,效率明显提升。不过,我想,这部分还有更多的优化控件,还在思考中。

YGCacheHandler提供业务方封装。这里提供一个例子,其他不再赘述:

+ (YGUser *)user {
    NSDictionary *userInfo = [[LevelDB share]get:@"YGUser"];
    if (!userInfo) {
        NSString *path = [[YGCacheHandler rootDirectoryPath] stringByAppendingPathComponent:@"YGUser.plist"];
        userInfo = [NSDictionary dictionaryWithContentsOfFile:path];
        if (!userInfo || 0 == userInfo.allKeys.count) {
            return nil;
        }
    }
    YGUser *user = [YGUser yy_modelWithDictionary:userInfo];
    return user;
}

+ (void)updateUser:(YGUser *)user {
    NSDictionary *userInfo = [user yy_modelToJSONObject];
    [[LevelDB share]set:@"YGUser" value:userInfo];
}

其中,读取方法,需要注意要兼容之前版本plist文件存储的数据。

而,写入方法中,需要将YGUser的model转为基础数据,再直接写入到LevelDB。

可以看出,代码量少了很多,更加清爽简单。

最后,祝大家玩得开心啦!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,425评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,058评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,186评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,848评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,249评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,554评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,830评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,536评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,239评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,505评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,004评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,346评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,999评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,060评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,821评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,574评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,480评论 2 267

推荐阅读更多精彩内容