sharding-sphere之sql执行那些事

以官方例子如下,调试sharding-sphere代码:

    public static void main(final String[] args) throws SQLException {
        DataSource dataSource = getShardingDataSource();
        dropTable(dataSource);
        createTable(dataSource);
        insert(dataSource);
        updateFailure(dataSource);
    }

可以看到,首先获取数据源连接池,然后执行drop语句,创建表,插入数据,再修改。在获取数据源的时候,实质初始化的是sharding-sphere的数据源。

 private static DataSource getShardingDataSource() throws SQLException {
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
        TableRuleConfiguration orderTableRuleConfig = new TableRuleConfiguration();
        orderTableRuleConfig.setLogicTable("t_order");
        orderTableRuleConfig.setActualDataNodes("ds_trans_${0..1}.t_order_${0..1}");
        shardingRuleConfig.getTableRuleConfigs().add(orderTableRuleConfig);
        
        TableRuleConfiguration orderItemTableRuleConfig = new TableRuleConfiguration();
        orderItemTableRuleConfig.setLogicTable("t_order_item");
        orderItemTableRuleConfig.setActualDataNodes("ds_trans_${0..1}.t_order_item_${0..1}");
        shardingRuleConfig.getTableRuleConfigs().add(orderItemTableRuleConfig);
        
        shardingRuleConfig.getBindingTableGroups().add("t_order, t_order_item");
        shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("user_id", new ModuloShardingAlgorithm()));
        shardingRuleConfig.setDefaultTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("order_id", new ModuloShardingAlgorithm()));
        return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), shardingRuleConfig, new HashMap<String, Object>(), new Properties());
    }
}
public final class ShardingDataSourceFactory {
    public static DataSource createDataSource(Map<String, DataSource> dataSourceMap, ShardingRuleConfiguration shardingRuleConfig, Map<String, Object> configMap, Properties props) throws SQLException {
        return new ShardingDataSource(dataSourceMap, new ShardingRule(shardingRuleConfig, dataSourceMap.keySet()), configMap, props);
    }

    private ShardingDataSourceFactory() {
    }
}

可以看到,最终初始化的是ShardingDataSource数据源,该数据源实现了datasource接口,最终执行逻辑,sql词法分析,sql语法分析和jdbc强行扯上了不明不白的关系。如图:

datasource.png

sharding-sphere.png

再看drop语句,实质是执行了update语句。

    private static void dropTable(final DataSource dataSource) throws SQLException {
        executeUpdate(dataSource, "DROP TABLE IF EXISTS t_order_item");
        executeUpdate(dataSource, "DROP TABLE IF EXISTS t_order");
    }
![statement.png](https://upload-images.jianshu.io/upload_images/3397380-7132d7299fd9ef5b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
private static void executeUpdate(final DataSource dataSource, final String sql) throws SQLException {
        try (
                Connection conn = dataSource.getConnection();
                PreparedStatement preparedStatement = conn.prepareStatement(sql)) {
            preparedStatement.executeUpdate();
        }
}
public ShardingConnection getConnection() {
    return new ShardingConnection(this.shardingContext);
}

这里拿到的connection是ShardingConnection语句,connections中实质是ShardingConnection。
而preparedStatement对象,则为ShardingPreparedStatement。

public PreparedStatement prepareStatement(String sql, int autoGeneratedKeys) {
   return new ShardingPreparedStatement(this, sql, autoGeneratedKeys);
}

statement.png

connnection.png

statement.png

从类图来看,可以看出,sharding-sphere是重写了jdbc接口,包含datasource接口,connection接口,preparedStatement接口。
而在执行sql的时候,则是调用ShardingPreparedStatementexecuteUpdate方法,如下:

@Override
public int executeUpdate() throws SQLException {
    try {
        Collection<PreparedStatementUnit> preparedStatementUnits = route();
        return new PreparedStatementExecutor(
                getConnection().getShardingContext().getExecutorEngine(), routeResult.getSqlStatement().getType(), preparedStatementUnits).executeUpdate();
    } finally {
        if (routeResult != null && connection != null) {
            JDBCShardingRefreshHandler.build(routeResult, connection).execute();
        }
        clearBatch();
    }
}

可以看到,先做sql路由,获取sql执行单元,然后new一个执行器去执行,在获取执行单元的时候,首先通过sql路由引擎做服务路由,获取sql执行单元,遍历并组装参数,返回执行引擎单元,替代占位符,并返回,交由sql执行器去执行。

private Collection<PreparedStatementUnit> route() throws SQLException {
    Collection<PreparedStatementUnit> result = new LinkedList<>();
    routeResult = routingEngine.route(getParameters());
    for (SQLExecutionUnit each : routeResult.getExecutionUnits()) {
        PreparedStatement preparedStatement = generatePreparedStatement(each);
        routedStatements.add(preparedStatement);
        replaySetParameter(preparedStatement, each.getSqlUnit().getParameterSets().get(0));
        result.add(new PreparedStatementUnit(each, preparedStatement));
    }
    return result;
}
public int executeUpdate() throws SQLException {
    List<Integer> results = executorEngine.execute(sqlType, preparedStatementUnits, new ExecuteCallback<Integer>() {
        
        @Override
        public Integer execute(final BaseStatementUnit baseStatementUnit) throws Exception {
            return ((PreparedStatement) baseStatementUnit.getStatement()).executeUpdate();
        }
    });
    return accumulate(results);
}

sql执行引擎在执行的过程中,遍历执行单元,分别在不同的数据库中执行,最终合并结果集,返回结果。

public <T> List<T> execute(
        final SQLType sqlType, final Collection<? extends BaseStatementUnit> baseStatementUnits, final ExecuteCallback<T> executeCallback) throws SQLException {
    //异步执行
    ListenableFuture<List<T>> restFutures = asyncExecute(sqlType, Lists.newArrayList(iterator), executeCallback);
    T firstOutput;
    List<T> restOutputs;
    try {
        firstOutput = syncExecute(sqlType, firstInput, executeCallback);
        restOutputs = restFutures.get();
        // CHECKSTYLE:OFF
    } catch (final Exception ex) {
        // CHECKSTYLE:ON
        event.setException(ex);
        event.setEventExecutionType(EventExecutionType.EXECUTE_FAILURE);
        EventBusInstance.getInstance().post(event);
        ExecutorExceptionHandler.handleException(ex);
        return null;
    }
    event.setEventExecutionType(EventExecutionType.EXECUTE_SUCCESS);
    EventBusInstance.getInstance().post(event);
    List<T> result = Lists.newLinkedList(restOutputs);
    result.add(0, firstOutput);
    return result;
}

在异步执行的时候,实质是多线程编程,future等待,最后合并结果。

private <T> ListenableFuture<List<T>> asyncExecute(
        final SQLType sqlType, final Collection<BaseStatementUnit> baseStatementUnits, final ExecuteCallback<T> executeCallback) {
    List<ListenableFuture<T>> result = new ArrayList<>(baseStatementUnits.size());
    final boolean isExceptionThrown = ExecutorExceptionHandler.isExceptionThrown();
    final Map<String, Object> dataMap = ExecutorDataMap.getDataMap();
    for (final BaseStatementUnit each : baseStatementUnits) {
        result.add(executorService.submit(new Callable<T>() {
            
            @Override
            public T call() throws Exception {
                return executeInternal(sqlType, each, executeCallback, isExceptionThrown, dataMap);
            }
        }));
    }
    return Futures.allAsList(result);
}

private <T> T executeInternal(final SQLType sqlType, final BaseStatementUnit baseStatementUnit, final ExecuteCallback<T> executeCallback,
                              final boolean isExceptionThrown, final Map<String, Object> dataMap) throws Exception {
    synchronized (baseStatementUnit.getStatement().getConnection()) {
        T result;
        ExecutorExceptionHandler.setExceptionThrown(isExceptionThrown);
        ExecutorDataMap.setDataMap(dataMap);
        List<AbstractExecutionEvent> events = new LinkedList<>();
        for (List<Object> each : baseStatementUnit.getSqlExecutionUnit().getSqlUnit().getParameterSets()) {
            events.add(getExecutionEvent(sqlType, baseStatementUnit, each));
        }
        for (AbstractExecutionEvent event : events) {
            EventBusInstance.getInstance().post(event);
        }
        try {
            result = executeCallback.execute(baseStatementUnit);
        } catch (final SQLException ex) {
            for (AbstractExecutionEvent each : events) {
                each.setEventExecutionType(EventExecutionType.EXECUTE_FAILURE);
                each.setException(ex);
                EventBusInstance.getInstance().post(each);
                ExecutorExceptionHandler.handleException(ex);
            }
            return null;
        }
        for (AbstractExecutionEvent each : events) {
            each.setEventExecutionType(EventExecutionType.EXECUTE_SUCCESS);
            EventBusInstance.getInstance().post(each);
        }
        return result;
    }
}

fyi

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容