Spring-Boot 多數據源配置+動態數據源切換+多數據源事物配置實現主從數據庫存儲分離

2020 年 7 月 18 日
筆記
【學習 Java】

一、基礎介紹

　　多數據源字面意思，比如說二個數據庫，甚至不同類型的數據庫。在用SpringBoot開發項目時，隨着業務量的擴大，我們通常會進行數據庫拆分或是引入其他數據庫，從而我們需要配置多個數據源。

二、項目目錄截圖

三、多數據源SQL結構設計如下（簡單的主從關係）：

PS：創建兩個庫用於搭建項目中主從使用不同的數據庫，表可以隨意定義。

四、配置編碼

1.數據源自定義註解，DataSource.java

/**
 * 數據源自定義註解
 */

@Target({ ElementType.METHOD, ElementType.TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface DataSource {
　　　　
    DataSourcesType name() default DataSourcesType.MASTER;

}

2.數據源類型枚舉類定義，DataSourcesType.java

/**
 * 數據源類型
 */
public enum  DataSourcesType {
    /**
     * 主庫
     */
    MASTER,

    /**
     * 從庫
     */
    SLAVE

}

3.多數據源application.yml配置文件配置

# 數據源配置
spring:
    datasource:
      type: com.alibaba.druid.pool.DruidDataSource
      driverClassName: com.mysql.cj.jdbc.Driver
      druid:
          master:
              url: jdbc:mysql://127.0.0.1:3306/master?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
              username: root
              password: 123456
          slave:
              enable: true
              url: jdbc:mysql://127.0.0.1:3306/slave?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
              username: root
              password: 123456
          # 初始連接數
          initialSize: 5
          # 最小連接池數量
          minIdle: 10
          # 最大連接池數量
          maxActive: 20
          # 配置獲取連接等待超時的時間
          maxWait: 60000
          # 配置間隔多久才進行一次檢測，檢測需要關閉的空閑連接，單位是毫秒
          timeBetweenEvictionRunsMillis: 60000
          # 配置一個連接在池中最小生存的時間，單位是毫秒
          minEvictableIdleTimeMillis: 300000
          # 配置一個連接在池中最大生存的時間，單位是毫秒
          maxEvictableIdleTimeMillis: 900000
          validationQuery: SELECT 1 FROM DUAL
          testWhileIdle: true
          testOnBorrow: false
          testOnReturn: false
          # 打開PSCache，並且指定每個連接上PSCache的大小
          poolPreparedStatements: true
          maxPoolPreparedStatementPerConnectionSize: 20
          # 配置監控統計攔截的filters，去掉後監控界面sql無法統計，'wall'用於防火牆，此處是filter修改的地方
          filters:
            commons-log.connection-logger-name: stat,wall,log4j
          # 通過connectProperties屬性來打開mergeSql功能；慢SQL記錄
          connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
          # 合併多個DruidDataSource的監控數據
          useGlobalDataSourceStat: true
          # 配置 DruidStatFilter
          web-stat-filter:
            enabled: true
            url-pattern: /*
            exclusions: .js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*
          stat-view-servlet:
            enabled: true
            url-pattern: /druid/*
            # IP 白名單，沒有配置或者為空，則允許所有訪問
            allow: 127.0.0.1
            # IP 黑名單，若白名單也存在，則優先使用
            deny: 192.168.31.253
            # 禁用 HTML 中 Reset All 按鈕
            reset-enable: false
            # 登錄用戶名/密碼
            login-username: root
            login-password: 123
            # 慢SQL記錄
          filter:
              stat:
                enabled: true
                # 慢SQL記錄
                log-slow-sql: true
                slow-sql-millis: 1000
                merge-sql: true
              wall:
                config:
                  multi-statement-allow: true

4.數據源配置文件屬性定義，DataSourceProperties.java

/**
 * 數據源配置文件
 */
@Setter
@Configuration
@ConfigurationProperties(prefix = "spring.datasource.druid")
public class DataSourceProperties {

    private int initialSize;

    private int minIdle;

    private int maxActive;

    private int maxWait;

    private int timeBetweenEvictionRunsMillis;

    private int minEvictableIdleTimeMillis;

    private int maxEvictableIdleTimeMillis;

    private String validationQuery;

    private boolean testWhileIdle;

    private boolean testOnBorrow;

    private boolean testOnReturn;

    public DruidDataSource setDataSource(DruidDataSource datasource) {

        datasource.setInitialSize(initialSize);
        /** 配置初始化大小、最小、最大 */
        datasource.setInitialSize(initialSize);
        datasource.setMaxActive(maxActive);
        datasource.setMinIdle(minIdle);
        /** 配置獲取連接等待超時的時間 */
        datasource.setMaxWait(maxWait);
        /** 配置間隔多久才進行一次檢測，檢測需要關閉的空閑連接，單位是毫秒 */
        datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);
        /** 配置一個連接在池中最小、最大生存的時間，單位是毫秒 */
        datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
        datasource.setMaxEvictableIdleTimeMillis(maxEvictableIdleTimeMillis);
        /**
         * 用來檢測連接是否有效的sql，要求是一個查詢語句，常用select 'x'。如果validationQuery為null，testOnBorrow、testOnReturn、testWhileIdle都不會起作用。
         */
        datasource.setValidationQuery(validationQuery);
        /** 建議配置為true，不影響性能，並且保證安全性。申請連接的時候檢測，如果空閑時間大於timeBetweenEvictionRunsMillis，執行validationQuery檢測連接是否有效。 */
        datasource.setTestWhileIdle(testWhileIdle);
        /** 申請連接時執行validationQuery檢測連接是否有效，做了這個配置會降低性能。 */
        datasource.setTestOnBorrow(testOnBorrow);
        /** 歸還連接時執行validationQuery檢測連接是否有效，做了這個配置會降低性能。 */
        datasource.setTestOnReturn(testOnReturn);
        return datasource;
    }

5.多數據源切換處理，DynamicDataSourceContextHolder.java

/**
 * 數據源切換處理
 */
public class DynamicDataSourceContextHolder {

    public static final Logger log = LoggerFactory.getLogger(DynamicDataSourceContextHolder.class);

    /**
     *此類提供線程局部變量。這些變量不同於它們的正常對應關係是每個線程訪問一個線程(通過get、set方法),有自己的獨立初始化變量的副本。
     */
    private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();

    /**
     * 設置當前線程的數據源變量
     */
    public static void setDataSourceType(String dataSourceType) {
        log.info("已切換到{}數據源", dataSourceType);
        contextHolder.set(dataSourceType);
    }

    /**
     * 獲取當前線程的數據源變量
     */
    public static String getDataSourceType() {
        return contextHolder.get();
    }

    /**
     * 刪除與當前線程綁定的數據源變量
     */
    public static void removeDataSourceType() {
        contextHolder.remove();
    }


}

6.獲取數據源（依賴於 spring）定義一個類繼承AbstractRoutingDataSource實現determineCurrentLookupKey方法，該方法可以實現數據庫的動態切換，DynamicDataSource.java

/**
 * 獲取數據源（依賴於 spring）  定義一個類繼承AbstractRoutingDataSource實現determineCurrentLookupKey方法，該方法可以實現數據庫的動態切換
 */
public class DynamicDataSource extends AbstractRoutingDataSource {

    public static  DynamicDataSource build() {
        return new DynamicDataSource();
    }

    /**
     * 獲取與數據源相關的key
     * 此key是Map<String,DataSource> resolvedDataSources 中與數據源綁定的key值
     * 在通過determineTargetDataSource獲取目標數據源時使用
     */
    @Override
    protected Object determineCurrentLookupKey() {
        return DynamicDataSourceContextHolder.getDataSourceType();
    }

}

7.數據源核心配置類，DataSourceConfiguration.java

/**
 * 數據源配置類
 */
@Configuration
public class DataSourceConfiguration {

    /**
     * 主庫
     */
    @Bean
    @ConfigurationProperties("spring.datasource.druid.master")
    public DataSource masterDataSource(DataSourceProperties dataSourceProperties) {
        return dataSourceProperties.setDataSource(DruidDataSourceBuilder.create().build());
    }


    /**
     * 從庫
     */
    @Bean
    @ConditionalOnProperty( prefix = "spring.datasource.druid.slave", name = "enable", havingValue = "true")//是否開啟數據源開關---若不開啟 默認適用默認數據源
    @ConfigurationProperties("spring.datasource.druid.slave")
    public DataSource slaveDataSource(DataSourceProperties dataSourceProperties) {
        return dataSourceProperties.setDataSource(DruidDataSourceBuilder.create().build());
    }

    /**
     * 設置數據源
     */
    @Bean(name = "dynamicDataSource")
    @Primary
    public DynamicDataSource dynamicDataSource(DataSource masterDataSource, DataSource slaveDataSource) {
        Map<Object, Object> targetDataSources = new HashMap<>();
        DynamicDataSource dynamicDataSource = DynamicDataSource.build();
        targetDataSources.put(DataSourcesType.MASTER.name(), masterDataSource);
        targetDataSources.put(DataSourcesType.SLAVE.name(), slaveDataSource);
        //默認數據源配置 DefaultTargetDataSource
        dynamicDataSource.setDefaultTargetDataSource(masterDataSource);
        //額外數據源配置 TargetDataSources
        dynamicDataSource.setTargetDataSources(targetDataSources);
        dynamicDataSource.afterPropertiesSet();
        return dynamicDataSource;
    }

}

8.多數據源切面配置類，用於獲取註解上的註解，進行動態切換數據源，DynamicDataSourceAspect.java

@Aspect
@Component
@Order(-1) // 保證該AOP在@Transactional之前執行
public class DynamicDataSourceAspect {

    protected Logger logger = LoggerFactory.getLogger(getClass());


    @Pointcut("@annotation(com.fuzongle.tankboot.common.annotation.DataSource)"
            + "|| @within(com.fuzongle.tankboot.common.annotation.DataSource)")
    public void dsPointCut()  {
    }

    @Around("dsPointCut()")
    public Object around(ProceedingJoinPoint point) throws Throwable {
        Method targetMethod = this.getTargetMethod(point);
        DataSource dataSource = targetMethod.getAnnotation(DataSource.class);//獲取要切換的數據源
        if (dataSource != null)  {
            DynamicDataSourceContextHolder.setDataSourceType(dataSource.name().name());
        }
        try {
            return point.proceed();
        }
        finally  {
            // 銷毀數據源 在執行方法之後
            DynamicDataSourceContextHolder.removeDataSourceType();
        }
    }

    /**
     * 獲取目標方法
     */
    private Method getTargetMethod(ProceedingJoinPoint pjp) throws NoSuchMethodException {
        Signature signature = pjp.getSignature();
        MethodSignature methodSignature = (MethodSignature) signature;
        Method agentMethod = methodSignature.getMethod();
        return pjp.getTarget().getClass().getMethod(agentMethod.getName(), agentMethod.getParameterTypes());
    }
}

9.編寫業務邏輯，切換從庫查詢數據。

10.編寫測試方法，調用查詢業務，查看是否切換數據源是否生效。

PS：這種多數據源的動態切換確實可以解決數據的主從分庫操作，但是卻有一個致命的BUG，那就是事務不但失效而且無法實現

一致性，因為涉及到跨庫，因此我們必須另想辦法來實現事務的ACID原則

　　　　　　　　以上配置所有源碼地址：//gitee.com/fuzongle/java-bucket）

注意：

1.如果有任何不懂的地方可以關注公眾號就可以加我微信，隨時歡迎互相幫助。

2.技術交流群QQ：422167709。

3.如果希望學習更多，希望微信掃碼，長按掃碼，幫忙關注一下，舉手之勞，當您無助的時候真的能幫你。非常感謝您關注公眾號 “編程小樂”。

Tags: 【學習 Java】