技術文章 » Redis主從複製部署小結

Redis主從複製部署小結

2023-10-24 12:01:16

Redis主從

搭建主從架構

單節點Redis的並行能力是有上限的，要進一步提高Redis的並行能力，就需要搭建主從叢集，實現讀寫分離。

主從資料同步原理

全量同步

主從第一次建立連線時，會執行全量同步，將master節點的所有資料都拷貝給slave節點，流程：

這裡有一個問題，master如何得知salve是第一次來連線呢？？

有幾個概念，可以作為判斷依據：

  • Replication Id：簡稱replid，是資料集的標記，id一致則說明是同一資料集。每一個master都有唯一的replid，slave則會繼承master節點的replid
  • offset：偏移量，隨著記錄在repl_baklog中的資料增多而逐漸增大。slave完成同步時也會記錄當前同步的offset。如果slave的offset小於master的offset，說明slave資料落後於master，需要更新。

因此slave做資料同步，必須向master宣告自己的replication id 和offset，master才可以判斷到底需要同步哪些資料。

因為slave原本也是一個master，有自己的replid和offset，當第一次變成slave，與master建立連線時，傳送的replid和offset是自己的replid和offset。

master判斷髮現slave傳送來的replid與自己的不一致，說明這是一個全新的slave，就知道要做全量同步了。

master會將自己的replid和offset都傳送給這個slave，slave儲存這些資訊。以後slave的replid就與master一致了。

因此，master判斷一個節點是否是第一次同步的依據，就是看replid是否一致。

如圖：

完整流程描述：

  • slave節點請求增量同步
  • master節點判斷replid，發現不一致，拒絕增量同步
  • master將完整記憶體資料生成RDB，傳送RDB到slave
  • slave清空本地資料，載入master的RDB
  • master將RDB期間的命令記錄在repl_baklog，並持續將log中的命令傳送給slave
  • slave執行接收到的命令，保持與master之間的同步

增量同步

全量同步需要先做RDB，然後將RDB檔案通過網路傳輸個slave，成本太高了。因此除了第一次做全量同步，其它大多數時候slave與master都是做增量同步。

什麼是增量同步？就是隻更新slave與master存在差異的部分資料。如圖：

那麼master怎麼知道slave與自己的資料差異在哪裡呢?

repl_backlog原理

master怎麼知道slave與自己的資料差異在哪裡呢?

這就要說到全量同步時的repl_baklog檔案了。

這個檔案是一個固定大小的陣列，只不過陣列是環形，也就是說角標到達陣列末尾後，會再次從0開始讀寫，這樣陣列頭部的資料就會被覆蓋。

repl_baklog中會記錄Redis處理過的命令紀錄檔及offset，包括master當前的offset，和slave已經拷貝到的offset：

slave與master的offset之間的差異，就是salve需要增量拷貝的資料了。

隨著不斷有資料寫入，master的offset逐漸變大，slave也不斷的拷貝，追趕master的offset：

直到陣列被填滿：

此時，如果有新的資料寫入，就會覆蓋陣列中的舊資料。不過，舊的資料只要是綠色的，說明是已經被同步到slave的資料，即便被覆蓋了也沒什麼影響。因為未同步的僅僅是紅色部分。

但是，如果slave出現網路阻塞，導致master的offset遠遠超過了slave的offset：

如果master繼續寫入新資料，其offset就會覆蓋舊的資料，直到將slave現在的offset也覆蓋：

棕色框中的紅色部分，就是尚未同步，但是卻已經被覆蓋的資料。此時如果slave恢復，需要同步，卻發現自己的offset都沒有了，無法完成增量同步了。只能做全量同步。

主從同步優化

主從同步可以保證主從資料的一致性，非常重要。

可以從以下幾個方面來優化Redis主從：

  • 在master中設定repl-diskless-sync yes啟用無磁碟複製，避免全量同步時的磁碟IO。
  • Redis單節點上的記憶體佔用不要太大，減少RDB導致的過多磁碟IO
  • 適當提高repl_baklog的大小，發現slave宕機時儘快實現故障恢復，儘可能避免全量同步
  • 限制一個master上的slave節點數量，如果實在是太多slave，則可以採用主-從-從鏈式結構，減少master壓力

主從從架構圖：

總結

簡述全量同步和增量同步區別？

  • 全量同步：master將完整記憶體資料生成RDB，傳送RDB到slave。後續命令則記錄在repl_baklog，逐個傳送給slave。
  • 增量同步：slave提交自己的offset到master，master獲取repl_baklog中從offset之後的命令給slave

什麼時候執行全量同步？

  • slave節點第一次連線master節點時
  • slave節點斷開時間太久，repl_baklog中的offset已經被覆蓋時

什麼時候執行增量同步？

  • slave節點斷開又恢復，並且在repl_baklog中能找到offset時

搭建的主從叢集

共包含三個節點，一個主節點，兩個從節點。

這裡會在同一臺虛擬機器器中開啟3個redis範例，模擬主從叢集，資訊如下：

IP PORT 角色
192.168.150.101 7001 master
192.168.150.101 7002 slave
192.168.150.101 7003 slave

準備範例和設定

要在同一臺虛擬機器器開啟3個範例，必須準備三份不同的組態檔和目錄，組態檔所在目錄也就是工作目錄。

（1）建立目錄

我們建立三個資料夾，名字分別叫7001、7002、7003：

# 進入/tmp目錄
cd /tmp
# 建立目錄
mkdir 7001 7002 7003

如圖：

（2）恢復原始設定
修改redis-6.2.4/redis.conf檔案，將其中的持久化模式改為預設的RDB模式，AOF保持關閉狀態。

# 開啟RDB
# save ""
save 3600 1
save 300 100
save 60 10000

# 關閉AOF
appendonly no

（3）拷貝組態檔到每個範例目錄
然後將redis-6.2.4/redis.conf檔案拷貝到三個目錄中（在/tmp目錄執行下列命令）：

# 方式一：逐個拷貝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003

# 方式二：管道組合命令，一鍵拷貝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

（4）修改每個範例的埠、工作目錄
修改每個資料夾內的組態檔，將埠分別修改為7001、7002、7003，將rdb檔案儲存位置都修改為自己所在目錄（在/tmp目錄執行下列命令）：

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

（5）修改每個範例的宣告IP
虛擬機器器本身有多個IP，為了避免將來混亂，我們需要在redis.conf檔案中指定每一個範例的繫結ip資訊，格式如下：

# redis範例的宣告 IP
replica-announce-ip 192.168.150.101

每個目錄都要改，我們一鍵完成修改（在/tmp目錄執行下列命令）：

# 逐一執行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf

# 或者一鍵修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

啟動

為了方便檢視紀錄檔，我們開啟3個ssh視窗，分別啟動3個redis範例，啟動命令：

# 第1個
redis-server 7001/redis.conf
# 第2個
redis-server 7002/redis.conf
# 第3個
redis-server 7003/redis.conf

啟動後：

如果要一鍵停止，可以執行下面命令：

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

開啟主從關係

現在三個範例還沒有任何關係，要設定主從可以使用replicaof 或者slaveof（5.0以前）命令。

有臨時和永久兩種模式：

  • 修改組態檔（永久生效）

    • 在redis.conf中新增一行設定：slaveof <masterip> <masterport>

  • 使用redis-cli使用者端連線到redis服務，執行slaveof命令（重啟後失效）：

    slaveof <masterip> <masterport>

注意：在5.0以後新增命令replicaof，與salveof效果一致。

這裡為了演示方便，使用方式二。

通過redis-cli命令連線7002，執行下面命令：

# 連線 7002
redis-cli -p 7002
# 執行slaveof
slaveof 192.168.150.101 7001

通過redis-cli命令連線7003，執行下面命令：

# 連線 7003
redis-cli -p 7003
# 執行slaveof
slaveof 192.168.150.101 7001

然後連線 7001節點，檢視叢集狀態：

# 連線 7001
redis-cli -p 7001
# 檢視狀態
info replication

結果：

測試

執行下列操作以測試：

  • 利用redis-cli連線7001，執行set num 123

  • 利用redis-cli連線7002，執行get num，再執行set num 666

  • 利用redis-cli連線7003，執行get num，再執行set num 888

可以發現，只有在7001這個master節點上可以執行寫操作，7002和7003這兩個slave節點只能執行讀操作。