Android数据库开源框架GreenDao分析

前段时间写Demo的时候遇到了数据库的并发问题 Android数据库多线程并发操作异常 ，然后研究了一下 Android中的数据库连接池 。在看相关代码的时候阅读了我们项目使用的数据库框架GreenDao 。哈哈，挺有意思的^ _ ^。

Android原始数据库的使用

创建数据库

public class DatabaseHelper extends SQLiteOpenHelper {
    public static final String USER_TABLE_NAME = "user";
    public static final String USER_NAME = "username";
    public static final String AGE = "age";
    public DatabaseHelper(Context context) {
        super(context, "demo.db", null, 1);
    }
    @Override
    public void onCreate(SQLiteDatabase db) {
        //创建数据库
        db.execSQL("create table " + USER_TABLE_NAME + "(" + USER_NAME + " varchar(20) not null," + AGE + " varchar(10) not null" + ")");
    }
    @Override
    public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
        //todo 更新数据库
    }
}

增删改查

mDatabaseHelper = new DatabaseHelper(this);
mSqLiteDatabase = mDatabaseHelper.getWritableDatabase();
//插入
ContentValues values = new ContentValues();
values.put(mDatabaseHelper.USER_NAME, "老张");
values.put(mDatabaseHelper.AGE, "18岁");
mSqLiteDatabase.insert(mDatabaseHelper.USER_TABLE_NAME, null, values);
//删除
String conditions = "username=?";
String[] args = {"老张"};
mSqLiteDatabase.delete(DatabaseHelper.USER_TABLE_NAME, conditions, args);
//更新
ContentValues contentValues = new ContentValues();
contentValues.put(DatabaseHelper.AGE, "20岁");
String conditions = "age=?";
String[] valueStr = {"18岁"};
int affectNum = mSqLiteDatabase.update(DatabaseHelper.USER_TABLE_NAME, contentValues, conditions, valueStr);
//查询
Cursor cursor = mSqLiteDatabase.query(mDatabaseHelper.USER_TABLE_NAME, new String[] {DatabaseHelper.USER_NAME}, null, null, null, null, null, null);
if (cursor.moveToFirst()) {
    int count = cursor.getCount();
    for (int i = 0; i < count; i++) {
        String userName = cursor.getString(cursor.getColumnIndex(DatabaseHelper.USER_NAME));
        Log.i(TAG,  i + " --> " + userName);
    }
}

其内部实现为：

//插入
SQLiteStatement.executeInsert
//更新、删除
SQLiteStatement.executeUpdateDelete
//查询
SQLiteCursor

Android原生的数据库操作默认是没有开启事务的，我们自己使用的时候可以开启。

性能优化

  1. 预编译SQL语句，重复的操作使用SQLiteStatement；
  2. 显示使用事务操作，做数据库更新修改操作时用事物能够提高写入性能；
  3. 查询数据优化，少用cursor.getColumnIndex；
  4. ContentValues的容量调整，内部是HashMap每次扩容进行double，最好能预估大小；
  5. 及时关闭Cursor；
  6. 耗时异步化；

Android平台上的数据库框架非常多，但是有一个共同特点就是基于对象关系映射(ORM)模型的。实现的目标也都是不需要写SQL语句，通过对对象的操作保存和操作数据。

GreenDAO是基于AndroidSQLite的最快、性能最强悍的数据库框架之一，因为他不涉及反射，靠的是代码辅助生成。

GreenDao框架分析

GreenDao3.0官网介绍
GreenDao文档
GreenDao的Github仓库

GreenDao 的使用在这里就不介绍了，上面的文档链接或者网络上的各种使用教程讲的都很详细。这里主要分析、对比一下GreenDao框架 在原生的基础之上进行了怎么样的封装。

在进行源码分析之前我们先说一下GreenDao 的优缺点，然后在下面的阅读过程中自己进行体会。

优点：

  1. 库文件比较小，小于100K，编译时间低，而且可以避免65K方法限制；
  2. 性能最大化(官方词汇)；
  3. API 非常易用，提升了开发效率；
  4. 最小的内存开销(这个没有实际测试过)；
  5. 可支持原生语句，从Android原生 SQLite 过度到 GreenDao 相对还是比较容易；
  6. 数据表结构和Entity数据结构convert支持，Entity的不同数据结构和数据库存储结构之间做一个灵活的转换；

缺点:

  1. 不支持组合主键，这个很少用到。
  2. 数据库表有关系时，在第一次请求上会有延迟并且之后的更新都不会自动同步，需要主动更新或者清楚缓存之后再请求，写的时候需要主动同时更新。当然这个也不算缺点，现在很多时候在数据库建表的时候很很少使用关联，要么建索引，要么查询的时候自己做关联。
  3. 不支持min、max等函数，需要自己写sql执行execSQL。但这些都可以通过其他方式进行实现。
  4. 不支持合并写，写入的时候判断已有这条数据那么进行更新，没有则实现插入。

数据库框架设计

文章前面简单的用代码进行数据库操作，我们可以从中看到一般在Android中操作数据库所需要的对象有：

  • SQLiteOpenHelper：数据库的创建、更新的操作对象；

  • SQLiteDatabase：执行数据的增删改查的操作对象；

  • SQLiteStatement：SQL 执行的操作对象；

所以首先任何一个数据框架都需要对这几个对象做封装，其次就是对于ORM模式 的数据库框架来说对象和数据库之间映射的元数据Entity 的管理，以及对外提供建议操作数据的API的封装。

greendao-framework.png

GreenDao底层封装

Database

StandardDatabase实现Database接口，内部代理SQLiteDatabase。

  • 提供数据库操作对象；
  • 执行SQL 语句；
  • 进行事务操作；
  • 数据库的关闭和打开；
public interface Database {
    Cursor rawQuery(String sql, String[] selectionArgs);
    void execSQL(String sql) throws SQLException;
    void beginTransaction();
    void endTransaction();
    boolean inTransaction();
    void setTransactionSuccessful();
    void execSQL(String sql, Object[] bindArgs) throws SQLException;
    DatabaseStatement compileStatement(String sql);
    boolean isDbLockedByCurrentThread();
    boolean isOpen();
    void close();
    Object getRawDatabase();
}
public class StandardDatabase implements Database {
    private final SQLiteDatabase delegate;
    /***部分代码省略***/
}

DatabaseStatement

StandardDatabaseStatement实现DatabaseStatement，内部代理SQLiteStatement

  • 数据对象的增删改查；
public interface DatabaseStatement {
    void execute();
    long simpleQueryForLong();
    void bindNull(int index);
    long executeInsert();
    void bindString(int index, String value);
    void bindBlob(int index, byte[] value);
    void bindLong(int index, long value);
    void clearBindings();
    void bindDouble(int index, double value);
    void close();
    Object getRawStatement();
}
public class StandardDatabaseStatement implements DatabaseStatement {
    private final SQLiteStatement delegate;
    /***部分代码省略***/
}

DatabaseOpenHelper

DatabaseOpenHelper内部SQLiteDataBase改为StandardDatabase进行代理。

  • 数据库的创建；
  • 数据库的更新以及版本管理；
public abstract class DatabaseOpenHelper extends SQLiteOpenHelper {
    /***部分代码省略***/
    public Database getWritableDb() {
        return wrap(getWritableDatabase());
    }
    public Database getReadableDb() {
        return wrap(getReadableDatabase());
    }
    protected Database wrap(SQLiteDatabase sqLiteDatabase) {
        return new StandardDatabase(sqLiteDatabase);
    }
}
greendao.png

GreenDao访问层

提供 XXEntity 数据模型对象、数据模型对象的Properties用来做每个字段的快速访问以及操作数据模型的XXEntityDao。

green-entity.png

上图为XXEntity、XXEntity.Properties、XXEntityDao 的关系和类的相关功能。

除此之外还未查询提供了 QueryBuilder 方便查询，可进行分页和偏移量的查询设置。还有 join 方法可以进行 表的关联查询 。

QueryBuilder<User> queryBuilder = userDao.queryBuilder();
queryBuilder.join(Address.class, AddressDao.Properties.userId)
     .where(AddressDao.Properties.Street.eq("Sesame Street"));
List<User> users = queryBuilder.list();

GreenDao中间层

  • 数据操作者XXEntityDao 的具体操作 AbstractDao；
  • XXEntityDao 的管理者 AbstractDaoSession；
  • 封装过程中的性能优化；
green-session.png

GreenDao的优化

GreenDao 的优化主要体现在 DaoConfig 这个类中。

public final class DaoConfig implements Cloneable {
    public final Database db;//数据库
    public final String tablename;//表名
    public final Property[] properties;//表的属性
    public final String[] allColumns;//表的字段名
    public final String[] pkColumns;//表主键字段名
    public final String[] nonPkColumns;//表的非主键字段名
    /** Single property PK or null if there's no PK or a multi property PK. */
    public final Property pkProperty;//表的主键属性，如果有多个或者没有那么为null
    public final boolean keyIsNumeric;//主键是否为数字类型，用来区别缓存容器类型，long和Object
    public final TableStatements statements;//sql语句预编译的Statement
    private IdentityScope<?, ?> identityScope;//对应数据对象的缓存容器
    public DaoConfig(Database db, Class<? extends AbstractDao<?, ?>> daoClass) {
        this.db = db;
        try {
            this.tablename = (String) daoClass.getField("TABLENAME").get(null);
            //读取对应表的字段属性
            Property[] properties = reflectProperties(daoClass);
            this.properties = properties;
            allColumns = new String[properties.length];
            List<String> pkColumnList = new ArrayList<String>();
            List<String> nonPkColumnList = new ArrayList<String>();
            Property lastPkProperty = null;
            //循环遍历所有字段，为pkProperty，allColumns，pkColumns，nonPkColumns赋值
            for (int i = 0; i < properties.length; i++) {
                Property property = properties[i];
                String name = property.columnName;
                allColumns[i] = name;
                if (property.primaryKey) {
                    pkColumnList.add(name);
                    lastPkProperty = property;
                } else {
                    nonPkColumnList.add(name);
                }
            }
            //字段赋值
            String[] nonPkColumnsArray = new String[nonPkColumnList.size()];
            nonPkColumns = nonPkColumnList.toArray(nonPkColumnsArray);
            String[] pkColumnsArray = new String[pkColumnList.size()];
            pkColumns = pkColumnList.toArray(pkColumnsArray);
            pkProperty = pkColumns.length == 1 ? lastPkProperty : null;
            //sql增删改查语句的预编译，Statement的缓存
            statements = new TableStatements(db, tablename, allColumns, pkColumns);
            if (pkProperty != null) {
                Class<?> type = pkProperty.type;
                keyIsNumeric = type.equals(long.class) || type.equals(Long.class) || type.equals(int.class)
                        || type.equals(Integer.class) || type.equals(short.class) || type.equals(Short.class)
                        || type.equals(byte.class) || type.equals(Byte.class);
            } else {
                keyIsNumeric = false;
            }

        } catch (Exception e) {
            throw new DaoException("Could not init DAOConfig", e);
        }
    }
    /***部分代码省略***/
}
  • 增删改查的SQL的预编译的Statement的缓存：
    insertStatement、insertOrReplaceStatement、updateStatement、deleteStatement和countStatement 。
public class TableStatements {
    private final Database db;
    private final String tablename;
    private final String[] allColumns;
    private final String[] pkColumns;
    private DatabaseStatement insertStatement;
    private DatabaseStatement insertOrReplaceStatement;
    private DatabaseStatement updateStatement;
    private DatabaseStatement deleteStatement;
    private DatabaseStatement countStatement;
    private volatile String selectAll;
    private volatile String selectByKey;
    private volatile String selectByRowId;
    private volatile String selectKeys;
    /***部分代码省略***/
    public DatabaseStatement getInsertStatement() {
        if (insertStatement == null) {
            String sql = SqlUtils.createSqlInsert("INSERT INTO ", tablename, allColumns);
            DatabaseStatement newInsertStatement = db.compileStatement(sql);
            synchronized (this) {
                if (insertStatement == null) {
                    insertStatement = newInsertStatement;
                }
            }
            if (insertStatement != newInsertStatement) {
                newInsertStatement.close();
            }
        }
        return insertStatement;
    }
}
  • 每次数据库操作都使用了事务提高的性能。
    我们来看一个插入操作的执行过程：
//AbstractDao.java
public long insert(T entity) {
    return executeInsert(entity, statements.getInsertStatement(), true);
}
private long executeInsert(T entity, DatabaseStatement stmt, boolean setKeyAndAttach) {
    long rowId;
    if (db.isDbLockedByCurrentThread()) {
        rowId = insertInsideTx(entity, stmt);
    } else {
        // Do TX to acquire a connection before locking the stmt to avoid deadlocks
        //开起事务
        db.beginTransaction();
        try {
            rowId = insertInsideTx(entity, stmt);
            //提交事务
            db.setTransactionSuccessful();
        } finally {
            //关闭事务
            db.endTransaction();
        }
    }
    if (setKeyAndAttach) {
        updateKeyAfterInsertAndAttach(entity, rowId, true);
    }
    return rowId;
}
//stmt绑定对应entity的value，并进行数据库写入
private long insertInsideTx(T entity, DatabaseStatement stmt) {
    synchronized (stmt) {
        if (isStandardSQLite) {
            SQLiteStatement rawStmt = (SQLiteStatement) stmt.getRawStatement();
            bindValues(rawStmt, entity);
            return rawStmt.executeInsert();
        } else {
            bindValues(stmt, entity);
            return stmt.executeInsert();
        }
    }
}
  • 数据对象的缓存
//提供两种配置，缓存和不缓存，在生成DaoSession的时候做的配置
public enum IdentityScopeType {
    Session, None
}
public class IdentityScopeObject<K, T> implements IdentityScope<K, T> {
    private final HashMap<K, Reference<T>> map;
    private final ReentrantLock lock;
    /***部分代码省略***/
}
public class IdentityScopeLong<T> implements IdentityScope<Long, T> {
    //LongHashMap内部是一个数组，对于索引做了优化
    private final LongHashMap<Reference<T>> map;
    private final ReentrantLock lock;
    /***部分代码省略***/
}

使用这个缓存有一个问题需要注意，如果直接使用SQL进行的操作是这里的缓存是不会进行更新的。但可以执行refresh更新，或者执行clearIdentityScope之后进行重新load。

数据库多线程并发操作

Android数据库多线程并发操作异常

文章到这里就全部讲述完啦，若有其他需要交流的可以留言哦！！

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 158,233评论 4赞 360
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,013评论 1赞 291
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 108,030评论 0赞 241
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 43,827评论 0赞 204
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,221评论 3赞 286
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,542评论 1赞 216
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,814评论 2赞 312
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,513评论 0赞 198
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,225评论 1赞 241
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,497评论 2赞 244
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,998评论 1赞 258
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,342评论 2赞 253
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 32,986评论 3赞 235
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,812评论 0赞 194
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,560评论 2赞 271
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,461评论 2赞 266

推荐阅读更多精彩内容