理論+實驗：群集負載均衡搭建--LVS-DR群集部署
2020-09-24 11:01:11
LVS-DR群集
一、理解LVS-DR工作原理
1.1、DR模式概述
■負載均衡群集工作模式–直接路由（Direct Routing）
- 簡稱DR模式，採用半開放式的網路結構，與TUN模式的結構類似，但各節點並不是分散在各地，而是與排程器位於同一個物理網路
- 負載排程器與各節點伺服器通過本地網路連線，不需要建立專用的IP隧道
1.2、分析LVS-DR封包流向
- 為方便進行原理分析，將 Client與群集機器放在同一網路中，封包流經的路線為1-2-3-4
- Client向目標VIP發出請求， Director（負載均衡器）接收。此時IP包頭及資料框頭資訊為
- Director根據負載均衡演演算法選擇 Realserver_1，不修改也不封裝IP報文，而是將資料框的MAC地址改為RealServer_1的MAC地址，然後在區域網上傳送。IP包頭及資料框頭資訊如下
- RealServer_1收到這個幀，解封裝後發現目標IP與本機匹配（ RealServer事先繫結了VIP），於是處理這個報文。隨後重新封裝報文，傳送到區域網。此時IP包頭及資料框頭資訊為
- Client將收到回覆報文。 Client認為得到正常的服務，而不會知道是哪一臺伺服器處理的
注意：如果跨網段，那麼報文通過路由器經由 terne返回給使用者
1.3、LVS-DR中存在的ARP問題
- 在LVS-DR負載均衡叢集中，負載均衡器與節點伺服器都要設定相同的VIP地址
■在區域網中具有相同的IP地址，勢必會造成各伺服器ARP通訊的紊亂
- 當一個ARP廣播傳送到LVS-DR叢集時，因為負載均衡器和節點伺服器都是連線到相同的網路上的，它們都會接收到ARP廣播
- 此時只有前端的負載均衡器進行響應，其他節點伺服器不應該響應ARP廣播
■對節點伺服器進行處理，使其不響應針對VIP的ARP請求
- 使用虛介面lo:0承載ⅥP地址
- 設定核心引數 arp_ignore=1：系統只響應目的IP為本地IP的ARP請求
■RealServe返回報文（源IP是VIP）經路由器轉發，在重新封裝報文時需要先獲取路由器的MAC地址
- 傳送ARP請求時， Linux預設使用IP包的源IP地址（即VIP）作為ARP請求包中的源IP地址，而不使用傳送介面（例如ens33）的IP地址
- 路由器收到ARP請求後，將更新ARP表項
- 原有的VIP對應 Director的MAC地址會被更新為ⅥP對應RealServer的MAC地址
- 此時新來的請求報文，路由器根據ARP表項，會將該報文轉發給RealServer，從而導致 Director的VIP失效
- 解決辦法
對節點伺服器進行處理，設定核心引數arp_announce=2：系統不使用IP包的源地址來設定ARP請求的源地址，而選擇傳送介面的IP地址
1.4、解決上述兩個ARP問題的方法
■修改/etc/sysctl.conf檔案
- 對節點伺服器進行處理，使其不響應針對VIP的ARP請求
- net.ipv4.conf.lo.arp_ignore = 1
- net.ipv4.conf.lo.arp_announce = 2
- 系統不使用IP包的源地址來設定ARP請求的源地址，而選擇傳送介面的IP地址
- net.ipv4.conf.all.arp_ignore = 1
- net.ipv4.conf.all.arp_announce = 2
二、LVS-DR實驗部署
2.1、環境部署
| 排程器 | VM1： 192.168.100.21 | ens3:0：192.168.100.10 |
|---|---|---|
| WEB1伺服器叢集池 | VM1： 192.168.100.22 | lo:0：192.168.100.10 |
| WEB2伺服器叢集池 | VM1： 192.168.100.23 | lo:0：192.168.100.10 |
| NFS共用伺服器 | VM1： 192.168.100.24 |
2.2、虛擬機器器設定
2.2.1、排程器設定
- 設定虛擬IP地址（VIP）
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vi ifcfg-ens33:0
NAME=ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.255
[root@localhost network-scripts]# ifup ifcfg-ens33:0
[root@localhost network-scripts]# ifconfig ## 如果-bash: ifconfig: command not found報錯，安裝 sudo yum install net-tools，按提示輸入y，就可以了
- 調整/proc響應引數 對於 DR 群集模式來說，由於 LVS 負載排程器和各節點需要共用 VIP 地址，應該關閉 Linux 核心的重定向引數響應
伺服器不是一臺路由器，那麼它不會傳送重定向，所以可以關閉該功能
[root@localhost network-scripts]# vi /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost network-scripts]# sysctl -p ###生效
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
- 設定負載分配策略
[root@localhost /]# ipvsadm -v
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs
[root@localhost ~]#yum -y install ipvsadm
[root@localhost ~]#ipvsadm -A -t 192.168.100.10:80 -s rr
[root@localhost ~]#ipvsadm -a -t 192.168.100.10:80 -r 192.168.100.22:80 -g -w 1
[root@localhost ~]#ipvsadm -a -t 192.168.100.10:80 -r 192.168.100.23:80 -g -w 1
[root@localhost network-scripts]# ipvsadm-save
[root@localhost network-scripts]# systemctl enable ipvsadm
2.2.2、儲存伺服器
rpm -q nfs-utils ###如果沒裝，yum -y install nfs-utils
rpm -q rpcbind ###如果沒裝，yum -y install rpcbind
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# vi /etc/exports
/opt/51xit 192.168.100.0/24 (rw,sync)
/opt/52xit 192.168.100.0/24 (rw,sync)
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# systemctl enable nfs
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# mkdir /opt/51xit /opt/52xit
[root@localhost ~]# echo "this is 51xit" >/opt/51xit/index.html
[root@localhost ~]# echo "this is 52xit" >/opt/52xit/index.html
2.2.3、 WEB1伺服器
- 設定虛擬IP地址
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vi ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.100.10
NETMASK=255.255.255.255
ONBOOT=yes
[root@localhost network-scripts]# ifup lo:0
[root@localhost network-scripts]# ifconfig ## 如果-bash: ifconfig: command not found報錯，安裝 sudo yum install net-tools，按提示輸入y，就可以了
[root@localhost network-scripts]# vi /etc/rc.local
/sbin/route add -host 192.168.100.10 dev lo:0
[root@localhost network-scripts]# route add -host 192.168.100.10 dev lo:0
- 調整/proc響應引數
[root@localhost network-scripts]# vi /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost network-scripts]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
- 安裝httpd 掛載測試頁
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# showmount -e 192.168.100.24 ####如果還沒釋出，請到儲存伺服器釋出下，exportfs -rv
Export list for 192.168.100.24:
/opt/51xit (everyone)
/opt/52xit (everyone)
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# mount 192.168.100.24:/opt/51xit /var/www/html/
[root@localhost ~]# vi /etc/fstab
192.168.100.44:/opt/51xit/ /var/www/html/ nfs rw,tcp,intr 0 1 ###開機自動掛載，注意格式對齊
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
- 登入192.168.100.22測試網站是否正常
2.2.4、WEB2伺服器
- 設定虛擬IP地址
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vi ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.100.10
NETMASK=255.255.255.255
ONBOOT=yes
[root@localhost network-scripts]# ifup lo:0
[root@localhost network-scripts]# ifconfig ## 如果-bash: ifconfig: command not found報錯，安裝 sudo yum install net-tools，按提示輸入y，就可以了
[root@localhost network-scripts]# vi /etc/rc.local
/sbin/route add -host 192.168.100.10 dev lo:0
[root@localhost network-scripts]# route add -host 192.168.100.10 dev lo:0
- 調整/proc響應引數
[root@localhost network-scripts]# vi /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost network-scripts]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
- 安裝httpd 掛載測試頁
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# showmount -e 192.168.100.24 ####如果還沒釋出，請到儲存伺服器釋出下，exportfs -rv
Export list for 192.168.100.24:
/opt/accp (everyone)
/opt/bdqn (everyone)
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# mount 192.168.100.24:/opt/52xit /var/www/html/
[root@localhost ~]# vi /etc/fstab
192.168.100.24:/opt/52xit/ /var/www/html/ nfs rw,tcp,intr 0 1 ###開機自動掛載，注意格式對齊
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
- 登入192.168.100.23測試網站是否正常
- 在瀏覽器輸入192.168.100.10進行驗證
輪詢成功
