走进Java接口测试之从0到1搭建数据驱动框架（多数据源和业务持久层）

2019 年 12 月 11 日
筆記

前言

在前三篇文章中，我们分别介绍了需求、设计、以及测试管理的实现功能，本篇我们一起来实现多数据源和业务持久层开发。

走进Java接口测试之从0到1搭建数据驱动框架（需求篇）

走进Java接口测试之从0到1搭建数据驱动框架（设计篇）

走进Java接口测试之从0到1搭建数据驱动框架（用例管理）

全部代码骨架结构

├─logs  │  └─spring-boot-logback             # 日志文件  │          all_api-test-logback.log # 所有日志  │          err_api-test-logback.log # 错误日志  ├─src  │  ├─main  │  │  ├─java  │  │  │  └─com  │  │  │      └─zuozewei  │  │  │          └─springbootdatadrivendemo  │  │  │              │  SpringbootDataDrivenDemoApplication.java # 启动类  │  │  │              │  │  │  │              ├─db  │  │  │              │  ├─auto      # 存放MyBatis Generator生成器生成的数据层代码，可以随时删除再生成  │  │  │              │  │  ├─mapper # DAO 接口  │  │  │              │  │  └─model  # Entity 实体  │  │  │              │  └─manual    # 存放自定义的数据层代码，包括对MyBatis Generator自动生成代码的扩展  │  │  │              │      ├─mapper # DAO 接口  │  │  │              │      └─model  # Entity 实体  │  │  │              ├─handler  # 数据转换  │  │  │              └─service # 业务逻辑  │  │  │                  └─impl # 实现类  │  │  │  │  │  └─resources  │  │      │  application.yml       # 全局配置文件  │  │      │  generatorConfig.xml # Mybatis Generator 配置文件  │  │      │  logback-spring.xml     # logback 配置文件  │  │      │  spy.properties      # P6Spy 配置文件  │  │      │  │  │      ├─db  │  │      ├─mapper  │  │      │  └─com  │  │      │      └─zuozewei  │  │      │          └─springbootdatadrivendemo  │  │      │              └─db  │  │      │                  ├─auto      # 存放MyBatis Generator生成器生成的数据层代码，可以随时删除再生成  │  │      │                  │  └─mapper # 数据库 Mapping 文件  │  │      │                  │  │  │      │                  └─manual    # 存放自定义的数据层代码，包括对MyBatis Generator自动生成代码的扩展  │  │      │                      └─mapper # 数据库 Mapping 文件  │  │      └─testng  │  │          │  APICollection-TestSuite.xml # 所用测试用例集  │  │          └─jdbcbapi  │  │                  jdbcAPI-TestSuite.xml  # 某API测试用例集  │  │  │  └─test  │      └─java  │          └─com  │              └─zuozewei  │                  └─springbootdatadrivendemo  │                      └─demo   # 接口测试用例  ├─pom.xml

多数据源

上面介绍了我们的用例管理使用的是 MySQL 数据库，而本文我们演示的是业务数据库使用的是 H2，那么必然的我们需要面对处理多数据源的问题。而在需求篇我们分析过了传统方式，确实可用，不足在于需要根据不同数据源建立不同的 package，一旦数据源发生变更，需要更改所在的 package。也看过了动态数据源，不能满足我们多数据源的需求。

而经过查找，我们发现一个开源的项目，即 dynamic-datasource-spring-boot-starter 可以满足我们的需求。

工具简介

dynamic-datasource-spring-boot-starter 是一个基于 springboot 的快速集成多数据源的启动器。其支持 Jdk 1.7+, SpringBoot 1.4.x 1.5.x 2.0.x。特性：

数据源分组，适用于多种场景纯粹多库读写分离一主多从混合模式。
内置敏感参数加密和启动初始化表结构 schema 数据库 database。
提供对 Druid，Mybatis-Plus，P6sy，Jndi 的快速集成。
简化 Druid 和 HikariCp 配置，提供全局参数配置。
提供自定义数据源来源接口(默认使用 yml 或 properties 配置)。
提供项目启动后增减数据源方案。
提供Mybatis环境下的纯读写分离方案。
使用 spel 动态参数解析数据源，如从 session，header 或参数中获取数据源。（多租户架构神器）
提供多层数据源嵌套切换。（ServiceA >>> ServiceB >>> ServiceC，每个 Service 都是不同的数据源）
提供不使用注解而使用正则或 spel 来切换数据源方案（实验性功能）。

约定：

本框架只做切换数据源这件核心的事情，并不限制你的具体操作，切换了数据源可以做任何CRUD。
配置文件所有以下划线 _ 分割的数据源首部即为组的名称，相同组名称的数据源会放在一个组下。
切换数据源可以是组名，也可以是具体数据源名称。组名则切换时采用负载均衡算法切换。
默认的数据源名称为 master ，你可以通过 spring.datasource.dynamic.primary 修改。
使用 @DS 切换数据源。@DS 可以注解在方法上和类上，同时存在方法注解优先于类上注解。

常见示例：

# 多主多从                      纯粹多库（记得设置primary）                   混合配置  spring:                               spring:                               spring:    datasource:                           datasource:                           datasource:      dynamic:                              dynamic:                              dynamic:        datasource:                           datasource:                           datasource:          master_1:                             mysql:                                master:          master_2:                             oracle:                               slave_1:          slave_1:                              sqlserver:                            slave_2:          slave_2:                              postgresql:                           oracle_1:          slave_3:                              h2:                                   oracle_2:

我们这里使用需要注意点有：

与 Druid，P6sy 快速集成；
对 Druid 进行全局参数配置；
只使用 切换数据源 这件核心的事情，并不涉及具体其他操作，切换了数据源可以做任何 CRUD；
设置默认的数据源；
使用 @DS 切换数据源。@DS 同时注解在方法上和类上。

配置数据源

引包：

<!--快速集成多数据源的启动器-->  <dependency>      <groupId>com.baomidou</groupId>      <artifactId>dynamic-datasource-spring-boot-starter</artifactId>      <version>2.5.6</version>  </dependency>

配置 application.yml 文件：

spring:    datasource:      dynamic:        primary: mysql    # 设置默认的数据源或者数据源组,默认值即为 master        strict: false    # 设置严格模式,默认 false 不启动. 启动后在未匹配到指定数据源时候回抛出异常,不启动会使用默认数据源.        datasource:          mysql_1:     # 测试用例库            username: zuozewei            password: zuozewei            url: jdbc:mysql://172.16.106.188:3306/autotest?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false            driver-class-name: com.mysql.cj.jdbc.Driver            continue-on-error: true   # 默认true,初始化失败是否继续            separator: ";"             # sql 默认分号分隔符          mysql_2:   # 业务数据库            username: zuozewei            password: zuozewei            url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false            driver-class-name: com.mysql.cj.jdbc.Driver            continue-on-error: true   # 默认true,初始化失败是否继续            separator: ";"             # sql 默认分号分隔符          h2:       # 业务数据库            username: sa            password: ""            url: jdbc:h2:mem:test            driver-class-name: org.h2.Driver            schema: db/schema.sql       # 配置则生效,自动初始化表结构            data: db/data.sql           # 配置则生效,自动初始化数据            continue-on-error: true    # 默认true,初始化失败是否继续            separator: ";"             # sql 默认分号分隔符            druid:                      # 这里可以重写默认值              initial-size: 5              public-key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAKUVA/IL/iON8f63bv2i/pIAK+1sXY228slLkTKrI9axwBMIoPV7+PqdRTv6uqMl3j6nei0EDBWEu/Wp/qOQ/ScCAwEAAQ==

使用 @DS 切换数据源。建议只注解在 service 实现类上。比如我们指定取用例 service 方法的数据源：

**   * 描述: 参数化自定义查询实现类   *   * @author zuozewei   * @create 2019-11-21 16:04   */    @Service  public class TestDataServiceImpl implements TestDataService {        @Resource      private TestDataMapper testDataMapper;        @DS("mysql_1")      @Override      public List<LinkedHashMap<String, Object>> selectBysql(String sql) {          return testDataMapper.selectBysql(sql);      }    }

启动工程

启动的时候，我们可以看到各数据源已初始化成功。

业务持久层

业务持久层的框架，我们依旧选择统一使用 Mybatis。在使用 Mybatis 的时候，Dao 接口，Entity 实体类，还有每个实体类对应的 xml 都得自己写，这其实也是工作量很大的事情，维护起来也很费劲，使用我们这里选用的是mybatis-generator 或 mybatis-generator-gui 来快速生成 Mybatis 的Java POJO文件及数据库 Mapping 文件。

初始化数据

这里我们演示的业务数据库是 H2，数据库的表结构脚本 schema.sql：

drop table t_coffee if exists;  create table t_coffee (      id bigint not null auto_increment,      name varchar(255),      price bigint not null,      create_time timestamp,      update_time timestamp,      primary key (id)  );

初始化数据脚本 data.sql：

insert into t_coffee (name, price, create_time, update_time) values ('espresso', 2000, now(), now());  insert into t_coffee (name, price, create_time, update_time) values ('latte', 2500, now(), now());  insert into t_coffee (name, price, create_time, update_time) values ('capuccino', 2500, now(), now());  insert into t_coffee (name, price, create_time, update_time) values ('mocha', 3000, now(), now());  insert into t_coffee (name, price, create_time, update_time) values ('macchiato', 3000, now(), now());

这两个SQL文件都放到 srcmainresourcesdb 下。

处理自定义类型

这里的 price 我们扩展了自定义类型，所以我们需要使用 TypeHandler 解决自定义类型预处理。因为 price 是joda-money 类型，数据库中却是 bigint 类型。MyBatis 为我们提供的方法即是 TypeHandler 来应对 Java 和 jdbc 字段类型不匹配的情况。MyBatis 中内置了不少的TypeHandler，如果我们想要自己自定义一个 TypeHandler 可以实现 TypeHandler 接口，也可以继承 BaseTypeHandler 类。下面我们实现一个将 Java 中的 joda-money 类型利用我们自定义的 MoneyTypeHandler 来转换为 JDBC 的 bigint 类型。

引包：

!--money类型-->  <dependency>      <groupId>org.joda</groupId>      <artifactId>joda-money</artifactId>      <version>LATEST</version>  </dependency>

新建一个 handler package，编写 MoneyTypeHandler.java：

/**   * 在 Money 与 Long 之间转换的 TypeHandler，处理 CNY 人民币   */    public class MoneyTypeHandler extends BaseTypeHandler<Money> {        /**       *  设置非空参数       * @param ps       * @param i       * @param parameter       * @param jdbcType       * @throws SQLException       */      @Override      public void setNonNullParameter(PreparedStatement ps, int i, Money parameter, JdbcType jdbcType) throws SQLException {          ps.setLong(i, parameter.getAmountMinorLong());      }        /**       * 根据列名，获取可以为空的结果       * @param rs       * @param columnName       * @return       * @throws SQLException       */      @Override      public Money getNullableResult(ResultSet rs, String columnName) throws SQLException {          return parseMoney(rs.getLong(columnName));      }        /**       * 根据列索引，获取可以为空的结果       * @param rs       * @param columnIndex       * @return       * @throws SQLException       */      @Override      public Money getNullableResult(ResultSet rs, int columnIndex) throws SQLException {          return parseMoney(rs.getLong(columnIndex));      }        /**       *       * @param cs       * @param columnIndex       * @return       * @throws SQLException       */      @Override      public Money getNullableResult(CallableStatement cs, int columnIndex) throws SQLException {          return parseMoney(cs.getLong(columnIndex));      }        /**       *  处理 CNY 人民币       * @param value       * @return       */      private Money parseMoney(Long value) {          return Money.of(CurrencyUnit.of("CNY"), value / 100.0);      }  }

使用 mybatis-generator

MyBatis Generator是 MyBatis 的代码生成器，支持为 MyBatis 的所有版本生成代码。非常容易及快速生成 Mybatis 的Java POJO文件及数据库 Mapping 文件。

引包：

<!--mybatis-generator生成器-->  <dependency>      <groupId>org.mybatis.generator</groupId>      <artifactId>mybatis-generator-core</artifactId>      <version>1.3.7</version>  </dependency>

配置 generatorConfig.xml：

<?xml version="1.0" encoding="UTF-8"?>  <!DOCTYPE generatorConfiguration          PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"          "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd">    <generatorConfiguration>      <context id="H2Tables" targetRuntime="MyBatis3">          <!--支持流式 fluent 方法-->          <plugin type="org.mybatis.generator.plugins.FluentBuilderMethodsPlugin" />          <!-- 自动生成toString方法 -->          <plugin type="org.mybatis.generator.plugins.ToStringPlugin" />          <!-- 自动生成hashcode方法 -->          <plugin type="org.mybatis.generator.plugins.SerializablePlugin" />          <!-- 分页插件 -->          <plugin type="org.mybatis.generator.plugins.RowBoundsPlugin" />            <!--数据库连接信息-->          <jdbcConnection driverClass="org.h2.Driver"                          connectionURL="jdbc:h2:mem:test"                          userId="sa"                          password="">          </jdbcConnection>            <!--模型生成器、Mapper生成器-->          <javaModelGenerator targetPackage="com.zuozewei.springbootdatadrivendemo.db.auto.model"                              targetProject="./src/main/java">              <property name="enableSubPackages" value="true" />              <property name="trimStrings" value="true" />          </javaModelGenerator>          <sqlMapGenerator targetPackage="com.zuozewei.springbootdatadrivendemo.db.auto.mapper"                           targetProject="./src/main/resources/mapper">              <property name="enableSubPackages" value="true" />          </sqlMapGenerator>          <javaClientGenerator type="MIXEDMAPPER"                               targetPackage="com.zuozewei.springbootdatadrivendemo.db.auto.mapper"                               targetProject="./src/main/java">              <property name="enableSubPackages" value="true" />          </javaClientGenerator>            <!--表映射-->          <table tableName="t_coffee" domainObjectName="Coffee" >              <generatedKey column="id" sqlStatement="CALL IDENTITY()" identity="true" />              <columnOverride column="price" javaType="org.joda.money.Money" jdbcType="BIGINT"                              typeHandler="com.zuozewei.springbootdatadrivendemo.handler.MoneyTypeHandler"/>          </table>      </context>  </generatorConfiguration>

注意：

id 是自增的；
price 字段需要映射到 MoneyTypeHandler。

启动方法

在工程启动类编写一个调用方法：

@SpringBootApplication(exclude = DruidDataSourceAutoConfigure.class)  @Slf4j  @MapperScan("com.zuozewei.springbootdatadrivendemo.db")  public class SpringbootDataDrivenDemoApplication  implements ApplicationRunner {        public static void main(String[] args) {          SpringApplication.run(SpringbootDataDrivenDemoApplication.class, args);          log.info("程序启动！");      }        @Override      public void run(ApplicationArguments args) throws Exception {          generateArtifacts();          log.info("启动generateArtifacts");      }        /**       * 执行MyBatisGenerator       * @throws Exception       */      private void generateArtifacts() throws Exception {          List<String> warnings = new ArrayList<>();          ConfigurationParser cp = new ConfigurationParser(warnings);          Configuration config = cp.parseConfiguration(                  this.getClass().getResourceAsStream("/generatorConfig.xml"));          DefaultShellCallback callback = new DefaultShellCallback(true);          MyBatisGenerator myBatisGenerator = new MyBatisGenerator(config, callback, warnings);          myBatisGenerator.generate(null);      }    }

启动工程：

检查配置文件指定路径是否生成文件：

使用 mybatis-generator-gui

还有一种简易的方法生成 Mybatis 的 Java POJO 文件及数据库 Mapping 文件，即使用 mybatis-generator-gui 工具。

简介

mybatis-generator-gui 是基于 mybatis generator 开发一款界面工具, 本工具可以使你非常容易及快速生成 Mybatis 的 Java POJO 文件及数据库 Mapping 文件。核心特性：

按照界面步骤轻松生成代码，省去 XML 繁琐的学习与配置过程
保存数据库连接与 Generator 配置，每次代码生成轻松搞定
内置常用插件，比如分页插件
支持 OverSSH 方式，通过 SSH 隧道连接至公司内网访问数据库
把数据库中表列的注释生成为 Java 实体的注释，生成的实体清晰明了
可选的去除掉对版本管理不友好的注释，这样新增或删除字段重新生成的文件比较过来清楚
目前已经支持 Mysql、Mysql8、Oracle、PostgreSQL 与 SQL Server，暂不对其他非主流数据库提供支持。(MySQL 支持的比较好)

要求：由于使用了 Java 8 的众多特性，所以要求 JDK 1.8.0.60 以上版本，另外 JDK 1.9 暂时还不支持。

git clone https://github.com/zouzg/mybatis-generator-gui  cd mybatis-generator-gui  mvn jfx:jar  cd target/jfx/app/  java -jar mybatis-generator-gui.jar

使用示例

由于目前不支持 H2 数据库，故使用示意图代替：

实现Service方法

在 service package 下新建 Service 接口 CoffeeService.java：

/**   * 描述: coffee Service   *   * @author zuozewei   * @create 2019-11-21 18:00   */    public interface CoffeeService {      // 插入    int addCoffee(Coffee coffee);      // 查询    List selectCoffeeFromDs(CoffeeExample coffeeExample) throws InterruptedException;    }

实现 CoffeeService 接口，并使用注解指定 h2 数据源，新建 CoffeeServiceImpl.java：

/**   * 描述: CoffeeService 实现类   *   * @author zuozewei   * @create 2019-11-21 18:00   */    @Service  @DS("h2")  public class CoffeeServiceImpl implements CoffeeService {          @Resource        private CoffeeMapper coffeeMapper;          @Override        public int addCoffee(Coffee coffee) {          return coffeeMapper.insert(coffee);        }          @Override        public List selectCoffeeFromDs(CoffeeExample coffeeExample) throws InterruptedException {          return coffeeMapper.selectByExample(coffeeExample);        }        }

配置mybatis

在 application.yml 中配置 mybatis

mybatis:    type-aliases-package: com.zuozewei.db # 自动扫描实体类所在的包    type-handlers-package: com.zuozewei.handler # 指定 TypeHandler 所在的包    configuration:      map-underscore-to-camel-case: true # 开启驼峰功能      call-setters-on-nulls: true     # 调用setter null，返回空也必须设置到bean中  （直接执行sql专用）    mapper-locations: classpath*:/mapper/**/*.xml # 扫描类路径下所有以xml文件结尾的文件

工程结构

最后，多数据源和业务持久层的工程结构大概是以下的样子：

小结

在今天这篇文章中，主要和大家分享了实现注解式多数据源和业务持久层开发的过程。在实现过程中，你最需要关注的几部分内容是：

基于 MybatisGenerator 或者 MybatisGeneratorGUI 自动化生成持久层代码，节省大量重复开发工作；
使用 TypeHandler 解决自定义类型预处理；
实现注解式动态数据源，满足 N 个业务数据源测试需求。

希望对你能有所启发。