springboot实现动态切换数据源全方案
标签(空格分隔): springboot 多数据源 AbstractRoutingDataSource 核心代码 动态获取数据库链接
文章是参照AbstractRoutingDataSource抽象类代码实现项目的多数据源,并且可以动态的向已有数据源中添加数据源,做到真正的动态添加数据源
简单介绍一下DataSource
老时代的数据查询
//注册mysql驱动
Class.forName("com.mysql.jdbc.Driver");
//数据库连接参数
String user ="root";
String password ="root";
string url = "jdbc:mysql://localhost:3306/user?useUnicode=true&characterEncoding=utf-8";
//获取数据库连接
Connection conn = DriverManager.getConnection(url,user,password);
可以清楚的看到,曾经获取数据库连接的代码还需要使用DriverManager,DriverManager#getConnection 是通过数据库驱动直接与数据库建立连接,而建立数据库连接属于耗费时间的事情,如果业务层每次进行SQL查询都使用此方式,将会产生较大的系统开销,一般系统的性能要求,单次请求需要稳定在 200 ms。经过在本地环境测试,DriverManager形式创建数据库连接需要 300~500 ms 左右,如果每次都这么获取链接的话会消耗很多时间和资源。
连接池的出现
相信很多人能够联想出来,数据库连接创建消耗资源这个场景好像在哪听过,没错,和线程创建的情况基本类似。既然线程可以用线程池关联,那数据库连接是不是可以放到一个池子中?连接池、线程池…这些池化技术的核心思想就是空间换取时间。因为在绝大数情况下,空间并没有那么稀缺,我们更关心的是系统的性能。
数据源登场
连接池虽然好,但是独木难支,连接池没有产生连接的能力,所以还需要配合类似 DriverManager 组件与数据库驱动配合创建连接。如果这样放到业务代码里,那岂不是还得封装一层?
这个时候,不约而同的想到一个公司,sun 公司是干啥的?制定规范的对不对,他们在 jdbc 2.0 版本推出一个 DataSource 的东东,用来进行规范约束相当于把 DriverManager和连接池概念揉合在一起,如果你想获取数据库连接,你通过我 DataSource 获取,你不用关心连接池和数据库连接怎么创建的,用就完了。其实,DataSource 获取的连接来自于连接池,而连接池的连接其实还是从 DriverManager或类似组件中创建的
DriverManager 只是 jdbc 1.0 版本用来调用数据库驱动的的工具包,jdbc 2.0 版本推出 DataSource 之后,典型的像 DruidDataSource 就没有依赖DriverManager,而是在自己实现类中调用了数据库驱动。这里只是重点强调,数据库连接不一定是使用 DriverManager创建,总结下:数据源(DataSource)是 sun 公司指定用于获取数据库连接的规范接口,应用程序于数据库连接抽象的中间层,它存在于 javax.sql 包,用来代替 DriverManager的方式获取数据库连接,使用 DataSource 比DriverManager 到底有什么好处呢
DriverManager
- 在应用程序里创建/关闭连接时会妨碍应用程序性能
-
不支持连接池,重复创建/关闭连接,浪费系统性能
有了DataSource之后,数据库连接、用户名、密码都进行了统一的管理,作为 DataSource 属性的一部分,并且将数据库驱动名称填充,底层自动加载
public interface DataSource extends CommonDataSource, Wrapper {
Connection getConnection() throws SQLException;
Connection getConnection(String username, String password)
throws SQLException;
}
DataSource 仅仅提供getConnection()方法,就是获取数据库链接
动态获取数据库链接
创建一个TestDynamicRoutingDataSource类可参照AbstractRoutingDataSource抽象类
public class TestDynamicRoutingDataSource extends AbstractDataSource implements InitializingBean {
//这个map用于保存已经创建好的DataSource map的key为corpCode(公司code)
protected Map<Object, DataSource> resolvedDataSources;
@Override
public Connection getConnection() throws SQLException {
return determineTargetDataSource().getConnection();
}
@Override
public Connection getConnection(String username, String password) throws SQLException {
return determineTargetDataSource().getConnection(username, password);
}
}
AbstractDataSource是DataSource的一个实现抽象类,TestDynamicRoutingDataSource实现AbstractDataSource,这里发现TestDynamicRoutingDataSource中重写了getConnection()方法,并且在方法中有一个方法determineTargetDataSource()方法,决定使用那个数据源,这个方法是非常重要的,我们就是重新这个方法类确定使用哪个数据源。
需求:这里假设我们要根据不同的公司路由到不同的数据库,这里我们规定,用户登录时必须要填写公司编码(也就是公司code简称corp_code),以及用户名和密码,当用户首次登录的时候就把对应的corp_code保存到了cookie或者session或者redis中,当用户访问接口时可以添加一个拦截器或者切面Aspect从cookie或其他中获取对应的corp_code来放到DataContext中的threadLocal中,用到的时候再取出来(大家应该知道一次请求对应一个线程)
//这里我们需要使用到ThreadLocal用于保存公司的code
public class DataContext {
//String对应的是corpCode(公司corpCode)
static transient ThreadLocal<String> threadLocal = new ThreadLocal();
//获取corpCode
public static String getCorpCode() {
return (String)threadLocal.get();
}
//设置corpCode的值
public static void setCorpCode(String corpCode) {
threadLocal.put(corpCode);
}
}
//最重要的方法,决定使用哪个数据源的方法
protected DataSource determineTargetDataSource() throws SQLException {
//获取当前请求中对应的公司code
String corpCode = DataContext.getCorpCode();
//这个方法是获取该公司对应的数据库链接信息如:userName,password,jdbcUrl,driverClass
Database database = determineCurrentLookupKey();
//获取公司对应的数据源
DataSource dataSource = resolvedDataSources.get(corpCode);
if(dataSource==null){
try {
//获取spring启动时创建的默认数据源,这个地方也可以直接创建一个新的数据源
DruidDataSource defaultDataSource = (DruidDataSource)getResolvedDefaultDataSource();
//这里是通过clone的方式进行获取(就是重新new一个然后把默认的值都赋值给新的dataSource)
DruidDataSource druidDataSource = defaultDataSource.cloneDruidDataSource();
druidDataSource.setUseUnfairLock(defaultDataSource.isUseUnfairLock());
druidDataSource.setUsername(database.getUserName());
druidDataSource.setPassword(database.getPassword());
druidDataSource.setUrl(database.getJdbcUrl());
druidDataSource.setDriverClassName(database.getDriverClass());
druidDataSource.init();
//放入map中
resolvedDataSources.put(lookupKey, druidDataSource);
} catch (Exception e) {
log.error("【===== create DataSource Error =====】", e);
}
}
return dataSource;
}
//determineCurrentLookupKey方法简单介绍一下
protected Database determineCurrentLookupKey() throws SQLException {
String corpCode = DataContext.getCorpCode();
//所有的数据源信息(json格式)都放到redis中,这样如果需要添加公司的话,直接给redis中添加就可以了,都不需要重启服务
//下面的代码不是真实代码,是帮助理解的代码
String databaseStr = (String)redis.get(corpCode);
Database database = JSONObject.parseObject(databaseStr, Database.class);
return database;
}
DataBase类
public class Database implements Serializable {
private String driverClass;
private String jdbcUrl;
private String userName;
private String password;
...
}
使用自定义数据源
@Slf4j
@AutoConfigureBefore({DruidDataSourceAutoConfigure.class, DataSourceAutoConfiguration.class})
public class DruidAutoConfig {
//spring容器启动时创建默认的数据源根据yaml文件中的druid的配置
@Bean(name = "defaultDataSource", initMethod = "init", destroyMethod = "close")
DruidDataSource defaultDataSource() {
log.info("Init DruidDataSource");
return DruidDataSourceBuilder.create().build();
}
@Primary
@DependsOn({"defaultDataSource"})
@Bean(name = "dataSource", destroyMethod = "close")
TestDynamicRoutingDataSource dataSource(@Qualifier("defaultDataSource") DruidDataSource defaultDataSource) {
if (defaultDataSource == null) {
throw new AutoConfigRuntimeException("defaultDataSource Can not be empty");
}
TestDynamicRoutingDataSource dynamicDataSource = new TestDynamicRoutingDataSource();
//这个可以就是上面clone的时候使用到的默认的数据源
dynamicDataSource.setDefaultTargetDataSource(defaultDataSource);
Map<Object, Object> targetDataSources = new HashMap<>(3);
targetDataSources.put("dataSource", defaultDataSource);
dynamicDataSource.setTargetDataSources(targetDataSources);
return dynamicDataSource;
}
//初始化JdbcTemplate
@Bean
public JdbcTemplate jdbcTemplate(@Qualifier("dataSource") DataSource dataSource) {
return new JdbcTemplate(dataSource);
}
}
这样就是实现了动态的切换数据源,无论你使用mybatis,还是jdbcTemplate都可以根据不同公司访问不同的库