項目要實現多數據源動態切換,咋搞?

文章首發於公眾號:編程大道

 

在做項目的時候,幾乎都會用到數據庫,很多時候就只連一個數據庫,但是有時候我們需要一個項目操作多個數據庫,不同的業務功能產生的數據存到不同的數據庫,那怎麼來實現數據源的動態、靈活的切換呢?今天我們就來實現這個功能。

前期準備工作

我們需要有一台聯網的電腦(用於maven自動下載依賴),並且電腦安裝JDK 8、IDEA、MySQL數據庫、maven,首先創建一個springboot項目(SSM也行)。springboot版本和SSM版本的代碼都已經放到碼雲託管,表結構SQL也有,感興趣的可以去下載//gitee.com/itwalking/springboot-dynamic-datasource//gitee.com/itwalking/ssm-dynamic-datasource

實現思路

首先講一下我們的實現思路,平時我們做項目,都會用到spring來集成我們的數據源,連接mysqlOracle數據庫,通過暴露出DataSource相關的接口,然後不同的數據庫都可以集成過來,我們只需要配置數據源的四大參數即可,這是我們往常的做法。而如果使用動態數據源的話,Spring也為我們提供了相應的擴展點,那就是AbstractRoutingDataSource抽象類,它同樣是jdbcDataSource接口的實現類。

代碼

廢話不多說,我們直接上代碼。
創建我們自己的數據源DynamicDataSource繼承AbstractRoutingDataSource,實現它的抽象方法determineCurrentLookupKey,這個方法其實就是實現動態選擇數據源的關鍵,通過這個方法返回的對象關聯到我們的數據源。(已對這個類做了一點優化,具體代碼在碼雲託管//gitee.com/itwalking/springboot-dynamic-datasource//gitee.com/itwalking/ssm-dynamic-datasource

package com.walking.db;
 
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
 
import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;
 
/**
 * @author walking
 * 公眾號:編程大道
 */
public class DynamicDataSource extends AbstractRoutingDataSource {
    /**
     * ThreadLocal 用於提供線程局部變量,在多線程環境可以保證各個線程里的變量獨立於其它線程里的變量。
     * 也就是說 ThreadLocal 可以為每個線程創建一個【單獨的變量副本】,相當於線程的 private static 類型變量。
     */
    private static final ThreadLocal<DataSourceName> dataSourceName = new ThreadLocal<DataSourceName>();
    /**
     * 支持以包名的粒度選擇數據源
     */
    private static final Map<String,DataSourceName> packageDataSource = new HashMap<>();
 
    public DynamicDataSource(DataSource firstDataSource, Map<Object, Object> targetDataSources) {
        setDefaultTargetDataSource(firstDataSource);
        setTargetDataSources(targetDataSources);
        afterPropertiesSet();
    }
 
    /**
     * 獲取與線程上下文綁定的數據源名稱(存儲在ThreadLocal中)
     * @return 返回數據源名稱
     */
    @Override
    protected Object determineCurrentLookupKey() {
        DataSourceName dsName = dataSourceName.get();
        dataSourceName.remove();
        return dsName;
    }
    public static void setDataSourceName(DataSourceName dataSource){
        dataSourceName.set(dataSource);
    }
    public static void usePackageDatasourceKey(String pkName) {
        dataSourceName.set(packageDataSource.get(pkName));
    }
    public Map<String,DataSourceName> getPackageDatasource(){
        return packageDataSource;
    }
    public void setPackageDatasource(Map<String,DataSourceName> packageDatasource){
        this.packageDataSource.putAll(packageDatasource);
    }
}

 

DynamicDataSource中有一個ThreadLocal用來保存我們當前選擇的數據源名稱,代碼中的注釋寫的很清楚了。其中ThreadLocal的泛型是DataSourceNameDataSourceName是我們自己定義的一個枚舉類,用於定義我們的數據源名稱,我這裡拿兩個數據源做演示,並命名為FIRSTSECOND

package com.walking.db;
/**
 * @author walking
 * 公眾號:編程大道
 */
public enum DataSourceName {
    FIRST, SECOND;
}

 

然後自定義一個註解,用於標註我們操作數據庫時選擇哪個數據源,很簡單只有一個name屬性,默認是 DataSourceName.FIRST

@Target({ElementType.PACKAGE,ElementType.TYPE,ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface CurDataSource {
 
    /**
     * name of DataSource
     * @return
     */
    DataSourceName value() default DataSourceName.FIRST;
 
}

 

有了這些還不夠,我們還需要根據我們的註解里的name屬性動態的去修改 DynamicDataSource 中 ThreadLocal 中保存的數據庫名稱,每次執行SQL前都要修改數據源,這樣才能達到修改數據源的目的。那很顯然我們就需要spring AOP來完成這個操作了。

如下,DynamicDataSourceAspect 是我們定義的一個切面類,同時也定了三個切點,分別去切方法上帶@CurDataSource註解的方法,類上帶@CurDataSource註解的類,以及按包名去切。這樣,我們的動態數據源就支持方法級別的、類級別的、包級別的動態配置了。

package com.walking.aaspect;
 
import com.walking.db.CurDataSource;
import com.walking.db.DataSourceName;
import com.walking.db.DynamicDataSource;
import lombok.extern.slf4j.Slf4j;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.Signature;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.aspectj.lang.reflect.MethodSignature;
import org.springframework.stereotype.Component;
 
import java.lang.reflect.Method;
import java.util.Objects;
 
/**
 * 動態數據源切面類
 * 被切中的,則先判斷方法上是否有CurDataSource註解
 * 然後判斷方法所屬類上是否有CurDataSource註解
 * 其次判斷是否配置了包級別的數據源
 *
 * 優先級為方法、類、包
 * 若同時配置則優先按方法上的
 *
 * @author walking
 * 公眾號:編程大道
 */
@Slf4j
@Aspect
@Component
public class DynamicDataSourceAspect {
    // pointCut
    @Pointcut("@annotation(com.walking.db.CurDataSource)")
    public void choseDatasourceByAnnotation() {
    }
    @Pointcut("@within(com.walking.db.CurDataSource)")
    public void choseDatasourceByClass() {
    }
    @Pointcut("execution(* com.walking.service3..*(..))")
    public void choseDatasourceByPackage() {
    }
 
    @Around("choseDatasourceByAnnotation() || choseDatasourceByClass() || choseDatasourceByPackage()")
    public Object doAround(ProceedingJoinPoint joinPoint) throws Throwable {
        log.info("進入AOP環繞通知");
        Signature signature = joinPoint.getSignature();
        DataSourceName datasourceName = getDatasourceKey(signature);
        if (!Objects.isNull(datasourceName)) {
            DynamicDataSource.setDataSourceName(datasourceName);
        }
        return joinPoint.proceed();
    }
    private DataSourceName getDatasourceKey(Signature signature) {
        if (signature == null) {
            return null;
        } else {
            if (signature instanceof MethodSignature) {
                MethodSignature methodSignature = (MethodSignature) signature;
                Method method = methodSignature.getMethod();
                if (method.isAnnotationPresent(CurDataSource.class)) {
                    return this.dsSettingInMethod(method);
                }
                Class<?> declaringClass = method.getDeclaringClass();
                if (declaringClass.isAnnotationPresent(CurDataSource.class)) {
                    return this.dsSettingInConstructor(declaringClass);
                }
                Package aPackage = declaringClass.getPackage();
                this.dsSettingInPackage(aPackage);
            }
            return null;
        }
    }
    private DataSourceName dsSettingInConstructor(Class<?> declaringClass) {
        CurDataSource dataSource = declaringClass.getAnnotation(CurDataSource.class);
        return dataSource.value();
    }
    private DataSourceName dsSettingInMethod(Method method) {
        CurDataSource dataSource = method.getAnnotation(CurDataSource.class);
        return dataSource.value();
    }
    private void dsSettingInPackage(Package pkg) {
        DynamicDataSource.usePackageDatasourceKey(pkg.getName());
    }
}

 

仔細看一下這個切面類的環繞通知這個方法的邏輯,可以發現,我們首先看的是方法上的註解,然後再看類上的註解,最後看是否配置了包級別數據源。

基本上,該有的類我們都寫完了,剩下就是驗證。

驗證之前我們還需要進行一些配置。

配置多數據源

這裡,我們使用的是阿里的Druid數據源,用springboot自帶的也行。我們可以看到在Druid:配置下,原本直接就配置url、name這些參數,我們新增了一級分別是first和second,用於配置多個數據源

server:
  port: 9966
  servlet:
    context-path: /walking
spring:
  mvc:
    log-request-details: false
  application:
    name: walking
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    druid:
      first:
        url: jdbc:mysql://localhost:3306/walking_mybatis?allowMultiQueries=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: 123456ppzy,
      second:
        url: jdbc:mysql://localhost:3306/walking_mybatis2?allowMultiQueries=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: 123456ppzy,
 
mybatis:
  mapper-locations: classpath:mapper/*.xml

 

然後javaconfig配置類。
配置了三個bean,前兩個是數據源的bean,使用@ConfigurationProperties註解,讓springboot幫我們去配置文件讀取指定前綴的配置,這樣我們剛才配的兩個數據源參數就區分開了。
然後第三個bean是我們配置的叫做dataSource的bean,用於覆蓋spring默認的DataSource,在這個bean中,我們把所有的數據源注入進去,這裡我們有兩個,命名為FIRST和SECOND(DataSourceName枚舉類),以及我們要配置的包級別的數據源,然後調用構造函數創建DynamicDataSource我們的動態數據源。並指明了默認的數據源。

package com.walking.configuration;
 
import com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceBuilder;
import com.walking.db.DataSourceName;
import com.walking.db.DynamicDataSource;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
 
import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;
 
/**
 * @author walking
 * 公眾號:編程大道
 */
@Configuration
public class DynamicDataSourceConfig {
    @Bean
    @ConfigurationProperties("spring.datasource.druid.first")
    public DataSource firstDataSource() {
        return DruidDataSourceBuilder.create().build();
    }
    @Bean
    @ConfigurationProperties("spring.datasource.druid.second")
    public DataSource secondDataSource() {
        return DruidDataSourceBuilder.create().build();
    }
    @Bean
    @Primary
    public DynamicDataSource dataSource(DataSource firstDataSource, DataSource secondDataSource) {
        Map<Object, Object> targetDataSources = new HashMap<>(2);
        targetDataSources.put(DataSourceName.FIRST, firstDataSource);
        targetDataSources.put(DataSourceName.SECOND, secondDataSource);
 
        //配置包級別的數據源
        Map<String, DataSourceName> packageDataSource = new HashMap<>();
        packageDataSource.put("com.walking.service3", DataSourceName.SECOND);
 
        DynamicDataSource dynamicDataSource new DynamicDataSource(firstDataSource, targetDataSources);
        dynamicDataSource.setPackageDatasource(packageDataSource);
        dynamicDataSource.afterPropertiesSet();
        return dynamicDataSource;
    }
}

 

然後就是我們的啟動類了,我們需要禁用掉spring的自動配置數據源,和Druid的自動配置數據源,使用我們自定義的動態數據源。

@EnableAspectJAutoProxy
//關掉數據源自動配置
@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class,
        DruidDataSourceAutoConfigure.class})
//使用Import註解導入我們自己的數據源配置 或在DynamicDataSourceConfig上加Configuration註解
//@Import({DynamicDataSourceConfig.class})
@MapperScan(basePackages = "com.walking.dao")
public class App {
    public static void main(String[] args) {
        SpringApplication.run(App.class, args);
    }
}

 

操作Mybatis我就不多說了,這裡我在兩個數據庫(walking_mybatis和walking_mybatis2)里創建了相同的user表,我們測試的時候觀察插入到哪個表就OK了。

項目整體結構

測試

我們在save_1上添加註解指明使用SECOND,在save_2則沒有,UserService1類上也沒用註解,同樣的,在配置類里也沒配置UserService1的包名,那麼save_2將會使用默認的數據源那就是FIRST

controller

運行,訪問//localhost:9966/walking/test01
日誌輸出

查看數據庫則第二個數據庫新增一條數據。
完整代碼我已上傳gitee碼雲,詳細的測試都在這三個service包下和test包下,感興趣的可以去下載代碼看看。

實現動態數據源切換就是這麼簡單。下次我們看一下動態數據源的原理。

總結一下

1、繼承AbstractRoutingDataSource實現多數據源及默認數據源的配置
2、註解+AOP,實現動態修改數據源的邏輯
3、排除spring和Druid(如果引入了第三方數據庫連接池)默認的自動配置數據源

動手操作下一下,SQL和項目都已上傳。

歡迎關注公眾號:編程大道