小編最近公司有個新的需求,資料量比較大,要涉及到分庫分表。大概瞭解了一些主流的中介軟體,使用和網上資料比較多的是Mycat
和sharding-jdbc
,小編比較傾向於Mycat
。原因很簡單就是參考的資料比較多,教學比較多,小編經過一天的嘗試,終於完成了!這篇主要是實戰,一些知識點請自行百度,小編也是沒有了解太多,最主要的目的是看一下效果!網上全使用Docker還是不多,而且很迷糊,小編進行補充,讓大家少走彎路!!
寫在前面:
本次簡單的進行分庫分表測試,測試分片規則是mod-long
,簡單的根據id取餘分組,實際業務肯定不符合,大家根據業務進行具體規則!!小編的場景是水平的拆分
哈,如果不符合你的可以看看使用Docker安裝,然後再修改分片策略即可!
小編大部分的命令都是來自於兩位大佬的,後面給出連結,大家可以去看一下哈!不過他們省略了一些,我給補充上,能夠順暢的走下去流程!!
因為我們的Mycat和Mysql都是使用docker安裝的,容器和容器之間是相互隔離的,這時候需要用到docker網路幫助我們進行兩個容器之間的通訊!
docker network create -d bridge --ip-range=192.168.1.0/24 --gateway=192.168.1.1
--subnet=192.168.1.0/24 bridge2
這是用的大佬的建立命令,可以去原文看看:原文地址
我們把Mycat和Mysql都是建立出來在進行統一的測試。
1. 建立新目錄並解壓Mycat
建立一個存放壓縮包的命令
mkdir /usr/local/docker
準備好壓縮包
連結:百度雲地址
提取碼:2n1u
tar -zxvf mycat.tar.gz
2. 複製到docker掛載建立目錄
cp -r /usr/local/docker/mycat/conf/ /usr/local/mycat/conf/
cp -r /usr/local/docker/mycat/logs/ /usr/local/mycat/logs/
3. 賦予最高許可權
chmod 777 /usr/local/mycat/logs
chmod 777 /usr/local/mycat/conf
4. 建立dockerfile檔案
touch Dockerfile
vi Dockerfile
5. Dockerfile內容
FROM openjdk:8
ADD mycat.tar.gz /usr/local/
VOLUME /usr/local/mycat/conf
ENV MYCAT_HOME=/usr/local/mycat
EXPOSE 8066 9066
CMD ["/usr/local/mycat/bin/mycat", "console","&"]
6. 構建Mycat映象
docker build -t mycat .
7. 執行Mycat映象
docker run --name mycat -p 8066:8066 -p 9066:9066 -v /usr/local/mycat/conf/:/usr/local/mycat/conf -v /usr/local/mycat/logs:/usr/local/mycat/logs -d --network=bridge2 --ip=192.168.1.8 mycat
1. 建立容器內在原生的掛載資料夾
mkdir -p /usr/local/mysql/data /usr/local/mysql/logs /usr/local/mysql/conf
# 給予許可權省略了哈
2. 初始化mysql的組態檔*.cnf
touch /usr/local/mysql/conf/my.cnf
3. 啟動映象
docker run -p 3306:3306 --name mysql -v /usr/local/mysql/conf:/etc/mysql/conf.d -v /usr/local/mysql/logs:/var/log/mysql -v /usr/local/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root -d --network=bridge2 --ip=192.168.1.9 mysql:5.7
4. 本地測試連線
5. 新建三個資料庫及其表
# 新建三個庫
CREATE DATABASE IF NOT EXISTS db1 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE IF NOT EXISTS db2 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE IF NOT EXISTS db3 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 每個庫下面新建一個表
drop table test_table;
CREATE TABLE `test_table` (
`id` int(6) NOT NULL,
`name` varchar(500) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1. 進入Mycat容器內部
docker exec -it 256 /bin/bash
2. 更新apt-get
apt-get update
3. 下載Ping命令
apt-get install iputils-ping
輸入y即可
4. 互ping成功
ping 192.168.1.8
5. 退出容器,以後臺形式執行
Ctrl + P + Q
1. 重要設定
mycat主要的應該就是組態檔的設定了,主要以下三個需要熟悉。
server.xml是Mycat伺服器引數調整和使用者授權的組態檔
schema.xml是邏輯庫定義和表以及分片定義的組態檔
rule.xml是分片規則的組態檔
2. 修改schema.xml
注意mysql的ip地址寫你的docker網路指定的ip
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="test_table" dataNode="dn1,dn2,dn3" rule="mod-long" autoIncrement="true" primaryKey="id"/>
</schema>
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost1" database="db2" />
<dataNode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.1.9:3306" user="root"
password="root">
<!-- can have multi read hosts -->
<readHost host="hostS1" url="192.168.1.9:3306" user="root" password="root" />
</writeHost>
</dataHost>
</mycat:schema>
其他的我們按照預設的
3. 重新啟動Mycat
4. 本地測試連線
密碼:123456(預設)
5. 新增一個表
drop table test_table;
CREATE TABLE `test_table` (
`id` int(6) NOT NULL,
`name` varchar(500) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1. 我們在Mycat上新增9條資料
INSERT INTO test_table(id, name) VALUES (1, '測試1');
INSERT INTO test_table(id, name) VALUES (2, '測試2');
INSERT INTO test_table(id, name) VALUES (3, '測試3');
INSERT INTO test_table(id, name) VALUES (4, '測試4');
INSERT INTO test_table(id, name) VALUES (5, '測試5');
INSERT INTO test_table(id, name) VALUES (6, '測試6');
INSERT INTO test_table(id, name) VALUES (7, '測試7');
INSERT INTO test_table(id, name) VALUES (8, '測試8');
INSERT INTO test_table(id, name) VALUES (9, '測試9');
2. 查詢各個庫上的資料
經過一天的測試和放棄,最終完成了測試,主要是忘記了docker容器之間不能直接通訊,卡了半天,還是要感謝兩位大佬的文章,讓我順利完成!如果對你有幫助,一鍵三連走起來哈!謝謝大家!!