SpringBoot資料庫管理
Liquibase是一個用於用於跟蹤、管理和應用資料庫變化的開源工具，通過紀錄檔檔案(changelog)的形式記錄資料庫的變更(changeset)，然後執行紀錄檔檔案中的修改，將資料庫更新或回滾(rollback)到一致的狀態。它的目標是提供一種資料庫型別無關的解決方案，通過執行schema型別的檔案來達到遷移。本文主要介紹SpringBoot與Liquibase的整合。@pdai
知識準備
需要理解什麼是Liquibase，它的出現是要解決什麼問題。
什麼是Liquibase？這類工具要解決什麼問題？
Liquibase是一個用於用於跟蹤、管理和應用資料庫變化的開源工具，通過紀錄檔檔案(changelog)的形式記錄資料庫的變更(changeset)，然後執行紀錄檔檔案中的修改，將資料庫更新或回滾(rollback)到一致的狀態。它的目標是提供一種資料庫型別無關的解決方案，通過執行schema型別的檔案來達到遷移。
其優點主要有以下：
- 支援幾乎所有主流的資料庫，目前支援包括 Oracle/Sql Server/DB2/MySql/Sybase/PostgreSQL等 各種資料庫，這樣在資料庫的部署和升級環節可幫助應用系統支援多資料庫；
- 支援版本控制，這樣就能支援多開發者的共同作業維護；
- 紀錄檔檔案支援多種格式，如XML, YAML, JSON, SQL等；
- 提供變化應用的回滾功能，可按時間、數量或標籤（tag）回滾已應用的變化。通過這種方式，開發人員可輕易的還原資料庫在任何時間點的狀態
- 支援多種執行方式，如命令列、Spring整合、Maven外掛、Gradle外掛等。
為何會出現Liquibase這類工具呢？
在實際上線的應用中，隨著版本的迭代，經常會遇到需要變更資料庫表和欄位，必然會遇到需要對這些變更進行記錄和管理，以及回滾等等；同時只有指令碼化且版本可管理，才能在讓資料庫實現真正的DevOps（自動化執行 + 回滾等）。在這樣的場景下Liquibase等工具的出現也就成為了必然。
Liquibase有哪些概念？是如何工作的？
工作流程：將SQL變更記錄到changeset，多個changeset變更組成了紀錄檔檔案(changelog)，liquibase將changelog更新紀錄檔檔案同步到指定的RDBMS中。
紀錄檔檔案(databaseChangeLog)支援多種格式，如XML, YAML, JSON, SQL; 我們以xml為例，看下相關設定
<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog
xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:ext="http://www.liquibase.org/xml/ns/dbchangelog-ext"
xmlns:pro="http://www.liquibase.org/xml/ns/pro"
xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.9.0.xsd
http://www.liquibase.org/xml/ns/dbchangelog-ext http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-ext.xsd
http://www.liquibase.org/xml/ns/pro http://www.liquibase.org/xml/ns/pro/liquibase-pro-4.9.0.xsd">
<changeSet id="1" author="bob">
<comment>A sample change log</comment>
<createTable/>
</changeSet>
<changeSet id="2" author="bob" runAlways="true">
<alterTable/>
</changeSet>
<changeSet id="3" author="alice" failOnError="false" dbms="oracle">
<alterTable/>
</changeSet>
<changeSet id="4" author="alice" failOnError="false" dbms="!oracle">
<alterTable/>
</changeSet>
</databaseChangeLog>
簡單範例
這裡主要介紹基於SpringBoot整合liquibase來管理資料庫的變更。
POM依賴
Maven 包的依賴，主要包含mysql驅動, JDBC(這裡spring-boot-starter-data-jpa包含了jdbc包，當然直接引入jdbc包也行)，以及liquibase包。
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.28</version>
</dependency>
<dependency>
<groupId>com.github.wenhao</groupId>
<artifactId>jpa-spec</artifactId>
<version>3.1.0</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>org.liquibase</groupId>
<artifactId>liquibase-core</artifactId>
<version>4.9.1</version>
</dependency>
yml設定
SpringBoot AutoConfig預設已經包含了對liquibase的設定，在spring.liquibase設定下。
基礎的設定，可以直接使用如下（主要是指定change-log的位置，預設的位置是classpath:/db/changelog/db.changelog-master.yaml）：
spring:
datasource:
url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8
driver-class-name: com.mysql.cj.jdbc.Driver
username: root
password: bfXa4Pt2lUUScy8jakXf
liquibase:
enabled: true
# 如下設定是被spring.datasource賦值的，所以可以不設定
# url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8
# user: root
# password: bfXa4Pt2lUUScy8jakXf
change-log: classpath:/db/changelog/db.changelog-master.yaml
在開發時，更多的設定可以從如下SpringBoot AutoConfig中找到。
新增changelog
XML方式固然OK，不過依然推薦使用yml格式。
databaseChangeLog:
- changeSet:
id: 20220412-01
author: pdai
changes:
- createTable:
tableName: person
columns:
- column:
name: id
type: int
autoIncrement: true
constraints:
primaryKey: true
nullable: false
- column:
name: firstname
type: varchar(50)
- column:
name: lastname
type: varchar(50)
constraints:
nullable: false
- column:
name: state
type: char(2)
- changeSet:
id: 20220412-02
author: pdai
changes:
- addColumn:
tableName: person
columns:
- column:
name: username
type: varchar(8)
- changeSet:
id: 20220412-03
author: pdai
changes:
- addLookupTable:
existingTableName: person
existingColumnName: state
newTableName: state
newColumnName: id
newColumnDataType: char(2)
測試
啟動springBootApplication, 我們可以看到如下的幾個changeSet被依次執行
2022-04-12 20:41:20.591 INFO 8476 --- [ main] liquibase.lockservice : Successfully acquired change log lock
2022-04-12 20:41:20.737 INFO 8476 --- [ main] liquibase.changelog : Creating database history table with name: test_db_liquibase.DATABASECHANGELOG
2022-04-12 20:41:20.783 INFO 8476 --- [ main] liquibase.changelog : Reading from test_db_liquibase.DATABASECHANGELOG
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-01::pdai
2022-04-12 20:41:20.914 INFO 8476 --- [ main] liquibase.changelog : Table person created
2022-04-12 20:41:20.914 INFO 8476 --- [ main] liquibase.changelog : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-01::pdai ran successfully in 53ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-02::pdai
2022-04-12 20:41:20.952 INFO 8476 --- [ main] liquibase.changelog : Columns username(varchar(8)) added to person
2022-04-12 20:41:20.952 INFO 8476 --- [ main] liquibase.changelog : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-02::pdai ran successfully in 31ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-03::pdai
2022-04-12 20:41:21.351 INFO 8476 --- [ main] liquibase.changelog : Lookup table added for person.state
2022-04-12 20:41:21.351 INFO 8476 --- [ main] liquibase.changelog : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-03::pdai ran successfully in 389ms
2022-04-12 20:41:21.382 INFO 8476 --- [ main] liquibase.lockservice : Successfully released change log lock
檢視資料庫，你會發現資料已經變更
那我們如果重新啟動這個SpringBootApplication，會怎麼呢？
很顯然，因為databasechangelog表中已經有相關執行記錄了，所以將不再執行變更
2022-04-12 20:49:01.566 INFO 9144 --- [ main] liquibase.lockservice : Successfully acquired change log lock
2022-04-12 20:49:01.761 INFO 9144 --- [ main] liquibase.changelog : Reading from test_db_liquibase.DATABASECHANGELOG
2022-04-12 20:49:01.812 INFO 9144 --- [ main] liquibase.lockservice : Successfully released change log lock
進一步理解
通過幾個問題，進一步理解。
比較好的changelog的實踐？
簡單而言：yml格式 + sql-file方式
執行sqlFile格式的changeSet，如下
執行的紀錄檔如下
2022-04-12 21:00:28.198 INFO 17540 --- [ main] liquibase.lockservice : Successfully acquired change log lock
2022-04-12 21:00:28.398 INFO 17540 --- [ main] liquibase.changelog : Reading from test_db_liquibase.DATABASECHANGELOG
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-04::pdai
2022-04-12 21:00:28.516 INFO 17540 --- [ main] liquibase.changelog : SQL in file classpath:/db/changelog/db.changelog-20220412-04.sql executed
2022-04-12 21:00:28.516 INFO 17540 --- [ main] liquibase.changelog : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-04::pdai ran successfully in 83ms
2022-04-12 21:00:28.532 INFO 17540 --- [ main] liquibase.lockservice : Successfully released change log lock
執行後，檢視變更記錄
資料表user表已經建立並插入一條資料
除了addColumn,addTable還有哪些changeType呢？
除了addColumn,addTable還有哪些changeType呢?
與此同時，還支援如下changeType：
此外，還支援執行command
changeSet:
id: executeCommand-example
author: liquibase-docs
changes:
- executeCommand:
args:
- arg:
value: -out
- arg:
value: -param2
executable: mysqldump
os: Windows 7
timeout: 10s
比如，回滾的操作可以通過如下command進行
再比如，我們可以通過Liquibase來生成相關差異，再製作成changeSet，最後部署。
範例原始碼
https://github.com/realpdai/tech-pdai-spring-demos
參考文章