logo头像

路漫漫兮其修远兮

Spring Boot2.x 多数据源配置

1 为什么需要多数据源

在比较大型的项目中,数据库可能会分布在多台服务器上,例如有若干个数据库服务是专门存放日志数据的,又有若干个数据库服务是专门存放业务数据的等等….这时候应用程序如果需要对这两种类型的数据进行处理的话,就需要配置多数据源了。

本文将使用的Spring Boot的版本是2.1.1.RELEASE,其他的版本配置可能会略有不同,具体的建议参考Spring Boot官方文档,文档中有多数据源配置的相关介绍。并且本文仅针对JPA的多数据源配置,其他的ORM例如MyBaties不在本文的讨论范围。

2 项目结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
├── pom.xml
├── src
│   ├── main
│   │   ├── java
│   │   │   └── top
│   │   │   └── yeonon
│   │   │   └── multidatasource
│   │   │   ├── controller
│   │   │   │   └── HelloController.java
│   │   │   ├── dbconfig
│   │   │   │   ├── DataSourceConfig.java
│   │   │   │   ├── DockerDatasourceConfig.java
│   │   │   │   └── LocalDataSourceConfig.java
│   │   │   ├── entity
│   │   │   │   ├── docker
│   │   │   │   │   └── User.java
│   │   │   │   └── local
│   │   │   │   └── Course.java
│   │   │   ├── MultiDatasourceApplication.java
│   │   │   └── repository
│   │   │   ├── docker
│   │   │   │   └── UserRepository.java
│   │   │   └── local
│   │   │   └── CourseRepository.java
│   │   └── resources
│   │   ├── application.properties
│   │   ├── static
│   │   └── templates

上面是项目的包结构,和单一数据源的最大区别就是在entity包和repository包中细分了不同的数据源,例如我这里的是local以及docker,这样区分的好处后面会看到。其他的就没什么了,真有需要注意的地方,会穿插的介绍。

3 数据源的配置

首先是DataSourceConfig类,该类是一个配置类(有@Configuration注解的类),我们在这里配置数据源DataSource:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
@Configuration
public class DataSourceConfig {

@Bean(name = "localDatasource")
@Qualifier(value = "localDatasource")
@ConfigurationProperties(prefix = "spring.datasource.local")
@Primary
public DataSource localDatasource() {
return DataSourceBuilder.create().build();
}

@Bean(name = "dockerDatasource")
@Qualifier(value = "dockerDatasource")
@ConfigurationProperties(prefix = "spring.datasource.docker")
public DataSource dockerDatasource() {
return DataSourceBuilder.create().build();
}
}
  1. @Bean注解就表示该方法是用来配置Bean的,name属性指示了该Bean的名字。
  2. @Qualifier,因为我们这里为DataSource这个类型配置了两个Bean,如果不做特殊处理,Spring在对Bean进行自动注入的时候,将无法知道使用哪个Bean,好的情况是直接报错,令人郁闷的情况是Spring不保错,但是仅仅有一个Bean生效,即另一个被覆盖了,这种情况下的BUG排查是非常麻烦的。
  3. @ConfigurationProperties,该注解是为该Bean配置一个与之对应的属性,prefix即前缀,所以在配置local数据源的时候,我们可以这样配置:spring.datasource.local.dirver-class-name:XXX(其他的同理)。
  4. @Primary,用来标识主库,这个注解是必须的,但是也只能有一个。各位可以自行尝试一下不加或者多加会出现什么错误,加深理解。

重要的就是这几个注解了,DataSource实例就直接用DataSourceBuilder来创建就行了,如果你有自己定制好的DataSource实例也可以不用DataSourceBuilder来创建。

光配置数据源的Bean还没完,在单数据源的情况下,Spring Boot会通过自动配置将数据源DataSource(Spring Boot也会自动的完成对数据源Bean的配置),然后将其注入到LocalContainerEntityManagerFactoryBean实体类工厂以及PlatformTransactionManager事务管理对象里,以此完成对JPA的自动配置。但在多数据源的情况下,Spring Boot自动配置还不能帮我们完成这样的注入,所以需要我们手动配置LocalContainerEntityManagerFactoryBean以及PlatformTransactionManager。下面来看代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
@Configuration
//开启事务管理
@EnableTransactionManagement
//开启JpaRepositories
@EnableJpaRepositories(
//在这个JpaRepositories中用到的事务管理器,这里是Ref,即引用
transactionManagerRef = "localTransactionManager",
//实体类工厂
entityManagerFactoryRef = "localEntityManagerFactory",
//JpaRepositories所在的包名,这也是为什么我们要细分包名的原因
basePackages = "top.yeonon.multidatasource.repository.local"
)
public class LocalDataSourceConfig {

//这里必须要要加 @Qualifier(value = "localDatasource")注解
//否则Spring将不会知道用哪个Bean
@Autowired
@Qualifier(value = "localDatasource")
private DataSource localDatasource;

//JpaProperties,Spring自动配置会自动加载该Bean
@Autowired
private JpaProperties jpaProperties;

//配置实体类工厂
@Bean(name = "localEntityManagerFactory")
//在数据源的配置中,我们将Local配置成了主库,所以必须在这里有@Primary注解
@Primary
public LocalContainerEntityManagerFactoryBean localEntityManagerFactory(EntityManagerFactoryBuilder builder) {
//创建一个工厂
return builder
.dataSource(localDatasource) //数据源实例,在这里指的就是localDatasource这个实例
.properties(jpaProperties.getProperties()) //加Jpa的属性配置加入进来
.packages("top.yeonon.multidatasource.entity.local") //实体类包名
.persistenceUnit("localPersistenceUnit")
.build();
}

@Bean(name = "localTransactionManager")
//和上面一样,必须要有该注解
@Primary
public PlatformTransactionManager localTransactionManager(EntityManagerFactoryBuilder builder) {
return new JpaTransactionManager(localEntityManagerFactory(builder).getObject());
}
}

这样就完成了LocalDatasource的配置,下面直接来看docker数据源的配置吧,和LocalDataSourceConfig非常类似,就不多说了,关键是注意名称:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
@Configuration
@EnableTransactionManagement
@EnableJpaRepositories(
transactionManagerRef = "dockerTransactionManager",
entityManagerFactoryRef = "dockerEntityManagerFactory",
basePackages = {"top.yeonon.multidatasource.repository.docker"}
)
public class DockerDatasourceConfig {

@Autowired
@Qualifier(value = "dockerDatasource")
private DataSource dockerDatasource;

@Autowired
private JpaProperties jpaProperties;

@Bean(name = "dockerEntityManagerFactory")
public LocalContainerEntityManagerFactoryBean dockerEntityManagerFactory(EntityManagerFactoryBuilder builder) {
return builder
.dataSource(dockerDatasource)
.properties(jpaProperties.getProperties())
.packages("top.yeonon.multidatasource.entity.docker")
.persistenceUnit("dockerPersistenceUnit")
.build();
}

@Bean
public PlatformTransactionManager dockerTransactionManager(EntityManagerFactoryBuilder builder) {
return new JpaTransactionManager(dockerEntityManagerFactory(builder).getObject());
}
}

除了名称不同之外,还有就是这里不需要也不应该加入@Primary注解。配置完了吗?其实还没有,别忘了在属性配置文件中配置url,username等…下面是一个示例:

1
2
3
4
5
6
7
8
9
10
11
spring.datasource.local.jdbc-url=jdbc:mysql://localhost:3306/test?useSSL=false
spring.datasource.local.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.local.username=root
spring.datasource.local.password=124563

spring.datasource.docker.jdbc-url=jdbc:mysql://XXX.XXX.XXX.XXX:4306/test?useSSL=false
spring.datasource.docker.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.docker.username=root
spring.datasource.docker.password=124563

spring.jpa.hibernate.ddl-auto=none

发现了吗?这里url配置和以往不太一样,以前仅仅是url即可,现在需要使用的属性名字是jdbc-url,这是新版的Spring Boot修改的,大家可以尝试一下沿用原来的url,看看错误堆栈,加深理解。

至此,就算是完成配置了,下面是一个简单的测试:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
@RestController
@RequestMapping("/hello")
public class HelloController {

@Autowired
private UserRepository userRepository;

@Autowired
private CourseRepository courseRepository;

@GetMapping("user")
public User user(Long id) {
return userRepository.findById(id).orElse(null);
}

@GetMapping("course")
public Course course(Long id) {
return courseRepository.findById(id).orElse(null);
}
}

运行后,往数据库里加点测试数据,访问这里配置的路径,应该就能得到期望的结果了。

终于完成了,其实这个多数据源的配置说难也不难,但也不简单,关键在于要“细心”!!!实体类工厂的Bean以及事务管理器的Bean的名字不要写错,还有就是自动注入以及配置DataSource时候一定要有@Qualifier注解!!!而且@Primary也一定要有,不要多配,也不可少配。

4 小结

最后,总结一下整个配置的流程:

  1. 先配置数据源DataSouce的Bean,因为要为DataSouce这个类型配置多个Bean,所以要有@Qualifier注解来标识定位具体是哪个Bean。还要有属性配置@ConfigurationProperties,否则无法读取属性,就只能在代码中配置url,username等属性了。
  2. 之后为多个不同的数据源配置transactionManager以及entityManagerFactory,核心是将数据源注入到这两个玩意儿内部,然后生成与特定数据源配套的transactionManager和entityManagerFactory。也还要注意在主库的配置中加上@Primary注解。
  3. 在属性配置文件中进行属性配置即可。

5 参考资料

Spring Boot多数据源配置与使用