shardingsphere的分表、分库的yml和config配置方式

基础环境

项目是基于springboot + mybatis + shardingsphere

pom

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-configuration-processor</artifactId>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <scope>runtime</scope>
</dependency>
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.44</version>
</dependency>
<dependency>
    <groupId>org.mybatis.spring.boot</groupId>
    <artifactId>mybatis-spring-boot-starter</artifactId>
    <version>2.1.3</version>
</dependency>
<!--添加mybatis分页插件支持 根据需求可要可不要-->
<dependency>
    <groupId>com.github.pagehelper</groupId>
    <artifactId>pagehelper</artifactId>
    <version>5.2.0</version>
</dependency>

分表不分库

yml模式

pom

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.0</version>
</dependency>

yml

spring:
  shardingsphere:
    datasource:
      names: m1   #配置库的名字，随意
      m1:   #配置目前m1库的数据源信息
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.jdbc.Driver
        url: jdbc:mysql://localhost:3306/test?useUnicode=true
        username: root
        password: 123456
    sharding:
      tables:
        t_student:  # 指定的数据库名
          actualDataNodes: m1.t_student_$->{1..2}
          tableStrategy:
            inline:   # 指定t_student表的分片策略，分片策略包括分片键和分片算法
              shardingColumn: id
              algorithmExpression: t_student_$->{id % 2 + 1}
          keyGenerator:   # 指定t_student表的主键生成策略为SNOWFLAKE
            type: SNOWFLAKE  #主键生成策略为SNOWFLAKE
            column: id  #指定主键
       t_student2:  # 指定的数据库名2
          actualDataNodes: m1.t_student2_$->{1..2}
          tableStrategy:
            inline:   # 指定t_student2表的分片策略，分片策略包括分片键和分片算法
              shardingColumn: id
              algorithmExpression: t_student2_$->{id % 2 + 1}
          keyGenerator:   # 指定t_student2表的主键生成策略为SNOWFLAKE
            type: SNOWFLAKE  #主键生成策略为SNOWFLAKE
            column: id  #指定主键
    props:
      sql:
        show: true

config模式

pom

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-spring-boot-util</artifactId>
    <version>4.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-core</artifactId>
    <version>4.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-transaction-spring</artifactId>
    <version>4.1.0</version>
</dependency>

config

@Configuration
public class DataSourceConfig {

    @Bean(name = "data1")
    @ConfigurationProperties(prefix = "spring.datasource")
    public DataSource dataSource() {
        return new DruidDataSource();
    }


    @Bean(name = "dataSource")
    public ShardingDataSource dataSource(DataSource data1) throws SQLException {
        Map<String, DataSource> dataSourceMap = new HashMap<>(); //设置分库映射
        dataSourceMap.put("data1", data1);

        // 逻辑表名
        List<String> tableNames = Arrays.asList("t_student");

        return new ShardingDataSource(dataSourceMap, shardingRule(tableNames), getProperties()); //设置默认库，两个库以上时必须设置默认库。默认库的数据源名称必须是dataSourceMap的key之一
    }

    /**
     * ShardingRule配置整合
     * @return
     */
    public ShardingRule shardingRule(List<String> tableNames){
        //具体分库分表策略
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
        shardingRuleConfig.setDefaultDataSourceName("data1");
        // 默认的分表规则
        shardingRuleConfig.setDefaultTableShardingStrategyConfig(new NoneShardingStrategyConfiguration());
        // 默认的分库规则
        shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new NoneShardingStrategyConfiguration());
        // 指定表的主键生成策略为SNOWFLAKE
        shardingRuleConfig.setDefaultKeyGeneratorConfig(new KeyGeneratorConfiguration("SNOWFLAKE", "id"));
        // 主从
//        shardingRuleConfig.setMasterSlaveRuleConfigs(null);
        // 定义具体的表
        shardingRuleConfig.setTableRuleConfigs(tableRuleConfigurations(tableNames));
        //
        shardingRuleConfig.setBindingTableGroups(Arrays.asList("t_student"));
        //
        shardingRuleConfig.setBroadcastTables(Arrays.asList("t_config"));
        // 数据库指定
        List<String> dataSourceNames = new ArrayList<>();
        dataSourceNames.add("data1");
        return new ShardingRule(shardingRuleConfig, dataSourceNames);
    }

    /**
     * 表规则设定
     * @return
     */
    public List<TableRuleConfiguration> tableRuleConfigurations(List<String> tableNames){
        List<TableRuleConfiguration> tableRuleConfigs = new LinkedList();

        for (String table: tableNames){
            String actualDataNodes = "data1.".concat(table).concat("_$->{1..2}");
            TableRuleConfiguration ruleConfiguration = new TableRuleConfiguration(table, actualDataNodes);
//            ruleConfiguration.setDatabaseShardingStrategyConfig(null);
            String algorithmExpression = table.concat("_$->{id % 2 + 1}");
            ruleConfiguration.setTableShardingStrategyConfig(new ModuloTableShardingAlgorithm("id", algorithmExpression));
            // 指定表的主键生成策略为SNOWFLAKE
            ruleConfiguration.setKeyGeneratorConfig(new KeyGeneratorConfiguration("SNOWFLAKE", "id"));

            tableRuleConfigs.add(ruleConfiguration);
        }
        return tableRuleConfigs;
    }

    /**
     * SqlSessionFactory
     * @param dataSource
     * @return
     * @throws Exception
     */
    @Bean
    public SqlSessionFactory sqlSessionFactory(DataSource dataSource) throws Exception {
        SqlSessionFactoryBean factoryBean = new SqlSessionFactoryBean();
        factoryBean.setDataSource(dataSource);
        factoryBean.setTypeAliasesPackage("com.hzy.sharding.entity");
        // 设置mapper.xml的位置路径
        Resource[] resources = new PathMatchingResourcePatternResolver().getResources("classpath:mapper/*.xml");
        factoryBean.setMapperLocations(resources);
        return factoryBean.getObject();
    }

    /**
     * 事务
     * @param dataSource
     * @return
     */
    @Bean
    public PlatformTransactionManager transactionManager(DataSource dataSource) {
        return new DataSourceTransactionManager(dataSource);
    }

    /**
     * mybatis配置
     * @return
     */
    @Bean
    public MapperScannerConfigurer scannerConfigurer() {
        MapperScannerConfigurer configurer = new MapperScannerConfigurer();
        configurer.setSqlSessionFactoryBeanName("sqlSessionFactory");
        configurer.setBasePackage("com.hzy.sharding.dao");
        return configurer;
    }

    private static Properties getProperties() {
        Properties propertie = new Properties();
        //是否打印SQL解析和改写日志
        propertie.setProperty("sql.show",Boolean.TRUE.toString());
        //用于SQL执行的工作线程数量，为零则表示无限制
        propertie.setProperty("executor.size","4");
        //每个物理数据库为每次查询分配的最大连接数量
        propertie.setProperty("max.connections.size.per.query","1");
        //是否在启动时检查分表元数据一致性
        propertie.setProperty("check.table.metadata.enabled","false");
        return propertie;
    }
}

分表分库

yml模式

spring:
  shardingsphere:
    datasource:
      names: data-0,data-1,data-2,data-3   #配置库的名字，随意
      data-0:   #配置目前master0库的数据源信息
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.jdbc.Driver
        url: jdbc:mysql://localhost:3306/test0?useUnicode=true
        username: root
        password: 123456
      data-1:   #配置目前master0slave0库的数据源信息
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.jdbc.Driver
        url: jdbc:mysql://localhost:3306/test01?useUnicode=true
        username: root
        password: 123456
      data-2:   #配置目前master1库的数据源信息
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.jdbc.Driver
        url: jdbc:mysql://localhost:3306/test1?useUnicode=true
        username: root
        password: 123456
      data-3:   #配置目前master1slave1库的数据源信息
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.jdbc.Driver
        url: jdbc:mysql://localhost:3306/test11?useUnicode=true
        username: root
        password: 123456
    sharding:
      #主从配置
#      master-slave-rules:
#        ds_0:
#          slave-data-source-names: master0slave0
#          master-data-source-name: master0
#          load-balance-algorithm-type: round_robin #从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若`loadBalanceAlgorithmClassName`存在则忽略该配置
#        ds_1:
#          slave-data-source-names: master1slave1
#          master-data-source-name: master1
#          load-balance-algorithm-type: round_robin
      #默认分库策略
      default-database-strategy:
#        #标准分库
#        standard:
#          sharding-column: id
#          precise-algorithm-class-name: com.hzy.sharding.algorithm.UserIdDatabaseAlgorithm
        #内置
        inline:
          sharding-column: create_date
          algorithm-expression: data-$->{create_date % 4}

      #绑定表
      binding-tables: t_student

      tables:
        t_student:  # 指定t_student表的数据分布情况，配置数据节点
          actualDataNodes: data-$->{0..3}.t_student_$->{1..2}
          tableStrategy:
            inline:   # 指定t_student表的分片策略，分片策略包括分片键和分片算法
              shardingColumn: create_date
              algorithmExpression: t_student_$->{create_date % 2 + 1}
          keyGenerator:   # 指定t_student表的主键生成策略为SNOWFLAKE
            type: SNOWFLAKE  #主键生成策略为SNOWFLAKE
            column: id  #指定主键
    props:
      sql:
        show: true

config模式

@Configuration
public class DataSourceConfig {

    @Bean(name = "data0")
    @ConfigurationProperties(prefix = "spring.datasource.data0")
    public DataSource dataSource0() {
        return new DruidDataSource();
    }

    @Bean(name = "data1")
    @ConfigurationProperties(prefix = "spring.datasource.data1")
    public DataSource dataSource1() {
        return new DruidDataSource();
    }

    @Bean(name = "data2")
    @ConfigurationProperties(prefix = "spring.datasource.data2")
    public DataSource dataSource2() {
        return new DruidDataSource();
    }

    @Bean(name = "data3")
    @ConfigurationProperties(prefix = "spring.datasource.data3")
    public DataSource dataSource3() {
        return new DruidDataSource();
    }

    @Bean(name = "dataSource")
    public ShardingDataSource dataSource(DataSource data0,DataSource data1,DataSource data2,DataSource data3) throws SQLException {
        Map<String, DataSource> dataSourceMap = new HashMap<>(); //设置分库映射
        dataSourceMap.put("data0", data0);
        dataSourceMap.put("data1", data1);
        dataSourceMap.put("data2", data2);
        dataSourceMap.put("data3", data3);

        // 逻辑表名
        List<String> tableNames = Arrays.asList("t_student");

        return new ShardingDataSource(dataSourceMap, shardingRule(tableNames), getProperties()); //设置默认库，两个库以上时必须设置默认库。默认库的数据源名称必须是dataSourceMap的key之一
    }

    /**
     * ShardingRule配置整合
     * @return
     */
    public ShardingRule shardingRule(List<String> tableNames){
        //具体分库分表策略
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
        // 不分库分表情况下的数据源制定--默认数据库
        shardingRuleConfig.setDefaultDataSourceName("data0");
        // 默认的分表规则
        shardingRuleConfig.setDefaultTableShardingStrategyConfig(new NoneShardingStrategyConfiguration());
        // database
        shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("create_date", "data$->{create_date % 4}"));
        // 指定表的主键生成策略为SNOWFLAKE
        shardingRuleConfig.setDefaultKeyGeneratorConfig(new KeyGeneratorConfiguration("SNOWFLAKE", "id"));
        // 主从
//        shardingRuleConfig.setMasterSlaveRuleConfigs(null);
        // 定义具体的表
        shardingRuleConfig.setTableRuleConfigs(tableRuleConfigurations(tableNames));
        // 绑定逻辑表
        shardingRuleConfig.setBindingTableGroups(tableNames);
        //
        shardingRuleConfig.setBroadcastTables(Arrays.asList("t_config"));
        // 数据库指定
        List<String> dataSourceNames = new ArrayList<>();
        dataSourceNames.add("data0");
        dataSourceNames.add("data1");
        dataSourceNames.add("data2");
        dataSourceNames.add("data3");

        return new ShardingRule(shardingRuleConfig, dataSourceNames);
    }

    /**
     * 表规则设定
     * @return
     */
    public List<TableRuleConfiguration> tableRuleConfigurations(List<String> tableNames){
        List<TableRuleConfiguration> tableRuleConfigs = new LinkedList();

        for (String table: tableNames){
            String actualDataNodes = "data$->{0..3}.".concat(table).concat("_$->{1..2}");
            TableRuleConfiguration ruleConfiguration = new TableRuleConfiguration(table, actualDataNodes);
//            ruleConfiguration.setDatabaseShardingStrategyConfig(null);
            String algorithmExpression = table.concat("_$->{create_date % 2 + 1}");
            // 表策略
            ruleConfiguration.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("create_date", algorithmExpression));
            // 分库策略
//            ruleConfiguration.setDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("id", "data$->{id % 4}"));
            // 指定表的主键生成策略为SNOWFLAKE
            ruleConfiguration.setKeyGeneratorConfig(new KeyGeneratorConfiguration("SNOWFLAKE", "id"));

            tableRuleConfigs.add(ruleConfiguration);
        }
        return tableRuleConfigs;
    }

    /**
     * SqlSessionFactory
     * @param dataSource
     * @return
     * @throws Exception
     */
    @Bean
    public SqlSessionFactory sqlSessionFactory(DataSource dataSource) throws Exception {
        SqlSessionFactoryBean factoryBean = new SqlSessionFactoryBean();
        factoryBean.setDataSource(dataSource);
        factoryBean.setTypeAliasesPackage("com.hzy.sharding.entity");
        // 设置mapper.xml的位置路径
        Resource[] resources = new PathMatchingResourcePatternResolver().getResources("classpath:mapper/*.xml");
        factoryBean.setMapperLocations(resources);
        return factoryBean.getObject();
    }

    /**
     * 事务
     * @param dataSource
     * @return
     */
    @Bean
    public PlatformTransactionManager transactionManager(DataSource dataSource) {
        return new DataSourceTransactionManager(dataSource);
    }

    /**
     * mybatis配置
     * @return
     */
    @Bean
    public MapperScannerConfigurer scannerConfigurer() {
        MapperScannerConfigurer configurer = new MapperScannerConfigurer();
        configurer.setSqlSessionFactoryBeanName("sqlSessionFactory");
        configurer.setBasePackage("com.hzy.sharding.dao");
        return configurer;
    }
    // 配置
    private static Properties getProperties() {
        Properties propertie = new Properties();
        //是否打印SQL解析和改写日志
        propertie.setProperty("sql.show",Boolean.TRUE.toString());
        //用于SQL执行的工作线程数量，为零则表示无限制
        propertie.setProperty("executor.size","4");
        //每个物理数据库为每次查询分配的最大连接数量
        propertie.setProperty("max.connections.size.per.query","1");
        //是否在启动时检查分表元数据一致性
        propertie.setProperty("check.table.metadata.enabled","false");
        return propertie;
    }
}

备注

1、yml中自动加载配置的类：SpringBootPropertiesConfigurationProperties

2、keyGenerator.type: SNOWFLAKE 表主键自动生成，生成分布式主键id

3、config就是将yml中的格式翻译

常见错误

No such property: id for class: Script1

问题原因：
错误：String actualDataNodes = "data$->{id % 4}.".concat(table).concat("_$->{1..2}");
正确：String actualDataNodes = "data$->{0..3}.".concat(table).concat("_$->{1..2}");

Data sources cannot be empty.

原因：
sharding-jdbc-spring-boot-starter 会自动加载，config的不要引用这个包

如果执行的sql语句没有带编号，那么就需要检查：
t_student2:  # 指定的数据库名2
actualDataNodes: m1.t_student2_$->{1..2}
algorithmExpression: t_student2_$->{id % 2 + 1}

项目地址

https://gitee.com/hzy100java/hzy-sharding-jdbc.git
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 162,306评论 4赞 370
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 68,657评论 2赞 307
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 111,928评论 0赞 254
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,688评论 0赞 220
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 53,105评论 3赞 295
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 41,024评论 1赞 225
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 32,159评论 2赞 318
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,937评论 0赞 212
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,689评论 1赞 250
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,851评论 2赞 254
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,325评论 1赞 265
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,651评论 3赞 263
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,364评论 3赞 244
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,192评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,985评论 0赞 201
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 36,154评论 2赞 285
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,955评论 2赞 279