etcd v3版本生產級叢集搭建以及實現一鍵啟動指令碼

本專欄的上一篇文章寫了《長篇圖解etcd核心應用場景及編碼實戰》，本文繼續。後續計劃章節內容如下：

• 《長篇圖解etcd核心應用場景及編碼實戰》
• 《搭建高可用etcd叢集》
• 《基於etcd實現分散式鎖（java程式碼實現）》
• 《基於etcd實現設定變更通知（java程式碼實現）》
• 《基於etcd實現服務註冊與發現（java程式碼實現）》
• 《基於etcd實現分散式系統節點leader選舉（java程式碼實現）》

很多人知道etcd是因為kubernetes，所以最常用的etcd叢集的搭建方法是通過k8s來設定啟動一個etcd叢集。但是etcd除了搭配k8s進行使用，還有很多其他的應用場景，比如：分散式鎖、設定變更通知、分散式系統多節點的leader選舉等。所以此文為大家介紹的etcd叢集安裝脫離k8s，就是在linux伺服器上直接安裝etcd的高可用服務叢集。

一、準備工作

以下的準備工作在三臺伺服器上都要完成

1.1. 規劃主機伺服器

首先需要規劃伺服器，因為etcd叢集需要選舉Leader，所以建議叢集節點的個數是3或者5。也不要太多，節點之間會有資料複製保證資料一致性，節點越多網路及伺服器效能消耗越大。需要確保伺服器之間的網路聯通性。

使用root使用者在/etc/hosts檔案中追加如下的設定，使主機名稱hostname與ip之間建立對映關係。存取peer1就是存取對應的主機ip。

192.168.161.3       peer1
192.168.161.4       peer2
192.168.161.5       peer3

1.2. 新建etcd使用者

在CentOS的linux發行版下，執行如下命令會建立使用者及使用者組etcd，並自動建立/home/etcd目錄。如果你使用的是其他的作業系統發行版，可能需要使用useradd命令，並自行建立這個目錄。

groupadd etcd
adduser -g etcd etcd

使用root使用者新建使用者及使用者主目錄。預設的新建使用者是沒有密碼，可以使用passwd etcd命令為其設定密碼。

1.3.開放防火牆埠

開放防火牆，使用如下3條命令開放etcd的標準埠2379、2380的埠。筆者在實際安裝的過程中，通常不使用這2個埠，因為埠越固定，被攻擊的可能性就越大。我們隨機選擇一個不常用的埠，安全性會更好一些，這裡我還是使用標準埠了。叢集內部的各個節點通過2380埠進行通訊，2379埠負責對外與使用者端通訊

firewall-cmd --zone=public --add-port=2379/tcp --permanent;
firewall-cmd --zone=public --add-port=2380/tcp --permanent;
firewall-cmd --reload

使用root使用者操作防火牆。

1.4.建立必要的目錄

使用su - etcd從root使用者切換到etcd使用者，在etcd使用者的主目錄/home/etcd下面新建如下的目錄, 用於etcd資料儲存

mkdir -p /home/etcd/data;

1.5.下載etcd並解壓

etcd使用者下載etcd安裝包，從github上下載比較慢，我選擇的是國內華為雲提供的加速映象。如果你不想使用我的版本，你也可以搜尋「etcd國內下載加速」選擇自己需要的版本。wget命令下載，tar命令進行解壓，這個不必多說。

wget https://mirrors.huaweicloud.com/etcd/v3.5.4/etcd-v3.5.4-linux-amd64.tar.gz;
tar -xzvf /home/etcd/etcd-v3.5.4-linux-amd64.tar.gz;

1.6. 叢集主機免密登陸

後續我們在進行etcd運維，比如說啟動叢集的時候不希望一臺伺服器一臺伺服器的執行命令，而是希望在一臺伺服器上完成操作，這就需要叢集etcd使用者之間能夠免密登陸對方。這裡我就簡單介紹了，講解該如何實現，原理大家搜文章學習下。etcd許可權使用者根目錄下執行如下命令，不論提示輸入什麼，一路回車即可。

ssh-keygen -t rsa

• 將公鑰儲存到authorized_keys檔案中

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

• 將公鑰分發給peer2、peer3主機。按提示輸入etcd的登陸密碼

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 etcd@peer2;

需要分開執行，因為執行命令的過程中需要輸入密碼。

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 etcd@peer3;

這樣，我們peer1免密登入peer2、peer3的設定工作就完成了。 同樣的操作，在peer2、peer3伺服器上執行，將自己的公鑰發給另外2臺伺服器，主機名稱替換一下。這樣設定完成之後，我們在這三臺伺服器中的任意一臺伺服器上etcd使用者下執行如ssh etcd@peer3就可以登陸peer3，不需要輸入密碼，證明我們的操作成功了。

二、叢集啟動與驗證

2.1. 一鍵啟動指令碼實現

完成上面的準備工作，實際上我們的etcd叢集安裝就已經完成了，實際的安裝動作就是解壓，解壓目錄下的etcd、etcdctl、etcdutl都是可執行檔案，可以直接使用。

下面我們使用這個指令碼來啟動etcd叢集（只需要在規劃好的3臺伺服器上任意一臺執行一次該指令碼即可）。我們給這個指令碼起個名字start-etcds.sh,並給它賦予可執行許可權。

#!/bin/bash

## ------------config-----------------
export ETCDCTL_API=3
CLUSTER_TOKEN=etcdcluster01
DATADIR=/home/etcd/data
HOSTNAME1=peer1
HOSTNAME2=peer2
HOSTNAME3=peer3
HOSTIP1=192.168.161.3
HOSTIP2=192.168.161.4
HOSTIP3=192.168.161.5
CLUSTER=${HOSTNAME1}=http://${HOSTIP1}:2380,${HOSTNAME2}=http://${HOSTIP2}:2380,${HOSTNAME3}=http://${HOSTIP3}:2380
CLUSTER_IPS=(${HOSTIP1}  ${HOSTIP2}  ${HOSTIP3})
CLUSTER_NAMES=(${HOSTNAME1}  ${HOSTNAME2}  ${HOSTNAME3})

## ---------------start etcd node------------------
for i in $(seq 0 `expr ${#CLUSTER_IPS[@]} - 1`); do
    nodeip=${CLUSTER_IPS[i]}
    nodename=${CLUSTER_NAMES[i]}

    ssh -T $nodeip <<EOF
    nohup /home/etcd/etcd-v3.5.4-linux-amd64/etcd  \
        --name ${nodename} \
        --data-dir  ${DATADIR}  \
        --initial-advertise-peer-urls http://${nodeip}:2380 \
        --listen-peer-urls http://${nodeip}:2380 \
        --advertise-client-urls http://${nodeip}:2379 \
        --listen-client-urls http://${nodeip}:2379 \
        --initial-cluster ${CLUSTER} \
        --initial-cluster-state new \
        --initial-cluster-token ${CLUSTER_TOKEN} >> ${DATADIR}/etcd.log 2>&1  &
EOF
echo 從節點 $nodename 啟動etcd節點...[ done ]

sleep 5
done

這個指令碼分成兩個部分，第一個部分config是我們自定義的shell指令碼變數

• export ETCDCTL_API=3表示使用版本號為3的etcdctl API。
• CLUSTER_TOKEN一個etcd叢集有一個唯一的token，隨意設定保證唯一性即可。
• DATADIR表示etcd的資料磁碟儲存路徑
• HOSTNAME1、2、3表示我們事先規劃好的3臺伺服器的主機名稱，即：linux主機hostname命令的執行結果。
• HOSTIP1、2、3表示我們事先規劃好的3臺伺服器的IP地址。（如果有多塊網路卡，請選擇對外提供服務的網路卡ip）
• CLUSTER是etcd叢集設定的標準格式
• CLUSTER_IPS、CLUSTER_NAMES分別是叢集伺服器各節點的ip和主機名稱陣列

第二個部分是etcd叢集的啟動指令碼，因為我們已經設定了etcd使用者的主機之間免密登陸，所以可以通過一個指令碼啟動3臺伺服器上的etcd服務。

• for i in $(seq 0 expr ${#CLUSTER_IPS[@]} - 1); do 表示for迴圈，迴圈CLUSTER_IPS陣列的長度賦值給i，所以i隨著for迴圈依次等於1、2、3。
• nodeip、nodename等於CLUSTER_IPS、CLUSTER_NAMES陣列中下標為i的元素，即：主機的ip、主機的名稱。
• for迴圈遍歷3臺伺服器，依次使用ssh -T $nodeip登陸3臺伺服器，因為上文已經做過免密登陸，所以無需密碼。
• EOF作為段落分割，其中間包裹的命令就是etcd範例的啟動命令。

etcd的啟動命令如下：

• /home/etcd/etcd-v3.5.4-linux-amd64/etcd :啟動etcd命令
• --name: etcd節點名稱，保證唯一性，我們使用etcd所部署的主機名稱即可。
• --data-dir: etcd資料儲存位置
• --initial-advertise-peer-urls ，
  --listen-peer-urls 指定當前節點與叢集內其他節點通訊的url。如果該節點存在網路代理，--initial-advertise-peer-urls 設定為代理的地址：2379。
• --advertise-client-urls ,
  --listen-client-urls指定使用者端與當前節點通訊的url。如果該節點存在網路代理， --advertise-client-urls 設定為代理的地址：2380。
• --initial-cluster叢集各節點的通訊地址列表
• --initial-cluster-state新建的級群使用new，一個節點加入已經存在的叢集用existing
• --initial-cluster-token叢集的token唯一標識。

2.2.驗證叢集

使用etcdctl member list檢視當前的etcd叢集包含多少個節點以及節點的狀態

/home/etcd/etcd-v3.5.4-linux-amd64/etcdctl \
--endpoints=192.168.161.3:2379,192.168.161.4:2379,192.168.161.5:2379 \
member list

上面的命令結果中能看到狀態是started證明我們的叢集處於正常執行狀態。如果想查詢叢集內那個節點是Leader節點，我更經常使用的命令是下面的這個

/home/etcd/etcd-v3.5.4-linux-amd64/etcdctl \
--endpoints=192.168.161.3:2379,192.168.161.4:2379,192.168.161.5:2379 \
endpoint status -w table

顯示結果如下。可以看到「IS LEADER=true」的節點是叢集的Leader節點：

碼文不易，如果您覺得有幫助，請幫忙點選在看或者分享，沒有您的支援我可能無法堅持下去！
歡迎關注我的公告號：字母哥雜談，回覆003贈送作者專欄《docker修煉之道》的PDF版本，30餘篇精品docker文章。字母哥部落格：zimug.com