技術文章 » haproxy高可用群集——詳細介紹及步驟

haproxy高可用群集——詳細介紹及步驟

2020-09-26 09:00:14

常見的Web叢集排程器

  • 目前常見的Web叢集排程器分為軟體和硬體
  • 軟體通常使用開源的LVS、Haproxy、Nginx
  • 硬體一般使用比較多的是F5，也有很多人使用國內的一些產品，如梭子魚、綠盟等

haproxy介紹

Haproxy應用分析

  1. LVS在企業應用中抗負載能力很強，但存在不足
    ◆LVS不支援正則處理，不能實現動靜分離
    ◆對於大型網站，LVS的實施設定複雜，維護成本相對較高
  2. Haproxy是一款可提供高可用性、負載均衡、及基於TCP和HTTP應用的代理的軟體
    ◆適用於負載大的Web站點
    ◆執行在硬體上可支援數以萬計的並行連線的連線請求

Haproxy排程演演算法原理

Haproxy支援多種排程演演算法，最常用的有三種

1.RR(Round Robin)

RR演演算法是最簡單最常用的一種演演算法，即輪詢排程
理解舉例：
◆有三個節點A、B、C
◆第一個使用者存取會被指派到節點A
◆第二個使用者存取會被指派到節點B
◆第三個使用者存取會被指派到節點C
◆第四個使用者存取繼續指派到節點A，輪詢分配存取請求實現負載均衡效果

2.LC (Least Connections)

最小連線數演演算法，根據後端的節點連線數大小動態分配前端請求
理解舉例：
◆ 有三個節點A、B、C，各節點的連線數分別為A:4、B:5、C:6
◆ 第一個使用者連線請求，會被指派到A上，連線數變為A:5、B:5、C:6
◆ 第二個使用者請求會繼續分配到A上，連線數變為A:6、B:5、C:6;再有新的請求會分配給B，每次將新的請求指派給連線數最小的使用者端
◆ 由於實際情況下A、B、C的連線數會動態釋放，很難會出現一樣連線數的情況
◆ 此演演算法相比較rr演演算法有很大改進，是目前用到比較多的一種演演算法

3.SH (Source Hashing)

基於來源存取排程演演算法，用於一些有Session對談記錄在伺服器端的場景，可以基於來源的IP、Cookie等做叢集排程
理解舉例:
◆ 有三個節點A、B、C，第一個使用者第一次存取被指派到了A，第二個使用者第一次存取被指派到了B
◆ 當第一個使用者第二次存取時會被繼續指派到A，第二個使用者第二次存取時依舊會被指派到B，只要負載均衡排程器不重新啟動，第一個使用者存取都會被指派到A，第二個使用者存取都會被指派到B，實現叢集的排程
◆ 此排程演演算法好處是實現對談保持，但某些IP存取量非常大時會引起負載不均衡部分節點存取量超大，影響業務使用

Haproxy安裝與啟動

在負載均衡器上安裝Haproxy

安裝步驟

  1. 安裝基礎軟體包
  2. 編譯安裝haproxy
  3. 要注意作業系統版本，是32位元系統還是64位元
    建立Haproxy的組態檔
  4. 建立組態檔目錄/etc/haproxy
  5. 將原始碼包提供的組態檔樣例haproxy.cfg複製到組態檔目錄中

Haproxy組態檔詳解

Haproxy組態檔通常分為三個部分

  1. global:為全域性設定
  2. defaults:為預設設定
  3. listen:為應用元件設定

global設定引數

引數說明
log 127.0.0.1 local0設定紀錄檔記錄，local0為紀錄檔裝置，預設存放到系統紀錄檔
log 127.0.0.1 local1noticenotice為紀錄檔級別，通常有24個級別
maxconn 4096最大連線數
uid 99使用者uid
gid 99使用者gid

haproxy搭建實操

haproxy群集拓撲圖

在這裡插入圖片描述

一、設定nfs共用儲存

[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.30.44  netmask 255.255.255.0  broadcast 192.168.30.255
        inet6 fe80::a52a:406e:6512:1c66  prefixlen 64  scopeid 0x20<link>
[root@localhost ~]# route -n   //檢視路由表，看閘道器
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.30.11   0.0.0.0         UG    100    0        0 ens33
192.168.30.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

1.安裝相關軟體，並啟動nfs

[root@localhost ~]# rpm -q nfs-utils  //檢視nfs是否安裝
nfs-utils-1.3.0-0.61.el7.x86_64
[root@localhost ~]# rpm -q rpcbind  //檢視rpcbind是否安裝
rpcbind-0.2.0-47.el7.x86_64
[root@localhost ~]# yum -y install nfs-utils  //確實安裝了
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Package 1:nfs-utils-1.3.0-0.61.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# yum -y install rpcbind
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Package rpcbind-0.2.0-47.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl enable rpcbind

2.設定共用目錄，並行布

[root@localhost ~]# vi /etc/exports
/opt/web1 192.168.30.0/24(rw,sync)   //注意，這裡的ip與授權的「（）」之間不能有空格
/opt/web2 192.168.30.0/24(rw,sync)
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# showmount -e   //檢視共用目錄
Export list for localhost.localdomain:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost web2]# exportfs -vr   //釋出共用目錄
exporting 192.168.30.0/24:/opt/web2
exporting 192.168.30.0/24:/opt/web1

3.建立共用目錄，並製作測試網頁

[root@localhost ~]# mkdir /opt/web1/ /opt/web1/
[root@localhost ~]# vi /opt/web1/index.html
<html>
<title>I'm Web1</title>
<body><h1>I'm Web1</h1></body>
<img src="web1.jpg" />
</html>
[root@localhost ~]# vi /opt/web2/index.html
<html>
<title>I'm Web2</title>
<body><h1>I'm Web2</h1></body>
<img src="web2.png" />
</html>

二、設定Web1

1.安裝並啟動nginx

[root@localhost nginx-1.15.9]#  tar xzvf nginx-1.15.9.tar.gz -C /opt
[root@localhost system]# useradd -s /sbin/nologin -M nginx  //-M不建立家目錄
[root@localhost opt]# yum -y install \
gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
zlib-devel 
[root@localhost nginx-1.15.9]# cd /opt/nginx-1.15.9/
[root@localhost nginx-1.15.9]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
[root@localhost nginx-1.15.9]# make && make install
[root@localhost nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@localhost nginx-1.15.9]# killall -s QUIT nginx
[root@localhost nginx-1.15.9]# cd /lib/systemd/system/
[root@localhost system]# vim nginx.service  //注意，設定執行服務檔案前關閉nginx程序
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/bin/kill -s HUP $MAINPID
ExecStop=/usr/bin/ki11 -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target    //允許多使用者
[root@localhost system]# chmod 754 nginx.service   //給許可權，讓組使用者也可以執行
[root@localhost system]# systemctl start nginx.service 
[root@localhost system]# systemctl enable nginx.service 
[root@localhost system]# systemctl status nginx.service 
● nginx.service - nginx
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
   Active: active (running) since Sun 2020-09-06 05:20:11 CST; 1s ago
  Process: 13374 ExecStart=/usr/local/nginx/sbin/nginx (code=exited, status=0/SUCCESS)
 ……省略部分

2.掛載nfs共用儲存

[root@localhost system]# yum -y install nfs-utils rpcbind
[root@localhost system]# showmount -e 192.168.30.44
Export list for 192.168.30.44:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost system]# mount 192.168.30.44:/opt/web1 /usr/local/nginx/html/
[root@localhost system]# vi /etc/fstab
192.168.30.44:/opt/web1 /usr/local/nginx/html   nfs     defaults,_netdev        0 0

3.測試共用儲存掛載

在這裡插入圖片描述

三、設定Web2

1.編譯安裝nginx

[root@localhost nginx-1.15.9]# tar xzvf nginx-1.15.9.tar.gz -C /opt
[root@localhost system]# useradd -s /sbin/nologin -M nginx  //-M不建立家目錄
[root@localhost opt]# yum -y install \
gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
zlib-devel 
[root@localhost nginx-1.15.9]# cd /opt/nginx-1.15.9/
[root@localhost nginx-1.15.9]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
[root@localhost nginx-1.15.9]# make && make install
[root@localhost nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@localhost nginx-1.15.9]# killall -s QUIT nginx
[root@localhost nginx-1.15.9]# cd /lib/systemd/system/
[root@localhost system]# vim nginx.service  //注意，設定執行服務檔案前關閉nginx程序
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/bin/kill -s HUP $MAINPID
ExecStop=/usr/bin/ki11 -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target    //允許多使用者
[root@localhost system]# chmod 754 nginx.service   //給許可權，讓組使用者也可以執行
[root@localhost system]# systemctl start nginx.service 
[root@localhost system]# systemctl enable nginx.service 
[root@localhost system]# systemctl status nginx.service 
● nginx.service - nginx
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
   Active: active (running) since Sun 2020-09-06 05:20:11 CST; 1s ago
  Process: 13374 ExecStart=/usr/local/nginx/sbin/nginx (code=exited, status=0/SUCCESS)
 ……省略部分

2.掛載共用儲存目錄

[root@localhost system]# yum -y install nfs-utils rpcbind
[root@localhost system]# showmount -e 192.168.30.44
Export list for 192.168.30.44:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost system]# mount 192.168.30.44:/opt/web2 /usr/local/nginx/html/
[root@localhost system]# vi /etc/fstab
192.168.30.44:/opt/web2 /usr/local/nginx/html   nfs     defaults,_netdev        0 0

3.測試共用儲存掛載

在這裡插入圖片描述

四、設定Haproxy負載均衡

1.編譯安裝haproxy

[root@localhost ~]# yum -y install pcre-devel bzip2-devel gcc gcc-c++  //安裝環境
[root@localhost ~]# tar xzvf haproxy-1.4.24.tar.gz -C /opt
[root@localhost ~]# cd /opt
[root@localhost opt]# cd haproxy-1.4.24/
[root@localhost haproxy-1.4.24]# make TARGET=linux26
[root@localhost haproxy-1.4.24]#  make install
2.設定Haproxy服務
[root@localhost haproxy-1.4.24]# mkdir /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/
[root@localhost haproxy-1.4.24]# vi /etc/haproxy/haproxy.cfg 
# this config needs haproxy-1.1.28 or haproxy-1.2.1
global
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        #log loghost    local0 info
        maxconn 4096
        chroot /usr/share/haproxy
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
#       redispatch
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  appli1-rewrite 0.0.0.0:80
#       cookie  SERVERID rewrite
        balance roundrobin
        server  inst1 192.168.30.22:80 check inter 2000 fall 3
        server  inst2 192.168.30.33:80 check inter 2000 fall 3

###############################上述組態檔解釋#############################
（1）Haproxy組態檔通常分為三個部分
global：為全域性設定
defaults：為預設設定
listen：為應用元件設定
global設定引數
log 127.0.0.1 local0：設定紀錄檔記錄，設定紀錄檔記錄,local0為紀錄檔裝置,預設存放到系統紀錄檔
log 127.0.0.1 local1 notice：notice為紀錄檔級別,通常有24個級別
maxconn 4096：最大連線數
uid 99：使用者uid gid 99：使用者gid

（2）defaults設定項設定預設引數，一般會被應用元件繼承，如果在應用元件中沒有特別宣告，將安裝預設設定引數設定
log global：定義紀錄檔為global設定中的紀錄檔定義
mode http：模式為http
option httplog：採用http紀錄檔格式記錄紀錄檔
option dontlognull ：保證HAProxy不記錄上級負載均衡傳送過來的用於檢測狀態沒有資料的心跳包
retries 3：檢查節點伺服器失敗連續達到三次則認為節點不可用
maxconn 2000：最大連線數
contimeout 5000：連線超時時間
clitimeout 50000：使用者端超時時間
srvtimeout 50000：伺服器超時時間

（3）listen設定專案一般為設定應用模組引數
listen appli4-backup 0.0.0.0:10004：定義一個appli4-backup的應用
option httpchk /index.html：檢查伺服器的index.html檔案
option persist ：強制將請求傳送到已經down掉的伺服器
balance roundrobin：負載均衡排程演演算法使用輪詢演演算法
server inst1 192.168.114.56:80 check inter 2000 fall 3：定義線上節點
server inst2 192.168.114.56:81 check inter 2000 fall 3 backup：定義備份節點

3.設定系統服務

[root@localhost haproxy-1.4.24]# cp examples/haproxy.init /etc/init.d/haproxy
[root@localhost haproxy-1.4.24]# chmod 755 /etc/init.d/haproxy
[root@localhost haproxy-1.4.24]# chkconfig --add haproxy
[root@localhost haproxy-1.4.24]# chkconfig --list haproxy
Note: This output shows SysV services only and does not include native
   ……省略部分
haproxy        	0:off	1:off	2:off	3:off	4:off	5:off	6:off
[root@localhost haproxy-1.4.24]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@localhost haproxy-1.4.24]# service haproxy start
[root@localhost haproxy-1.4.24]# systemctl stop haproxy.service 
[root@localhost haproxy-1.4.24]# systemctl start haproxy.service 
[root@localhost haproxy-1.4.24]# netstat -anupt |grep haproxy
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      20379/haproxy       
udp        0      0 0.0.0.0:46295           0.0.0.0:*                           20379/haproxy

4.測試haproxy輪詢

在這裡插入圖片描述
在這裡插入圖片描述

5.haproxy存取紀錄檔設定

[root@localhost ~]# vi /etc/haproxy/haproxy.cfg   
global
        log     /dev/log        local0   //將log有關的設定換成這兩條
        log     /dev/log        local1 notice
……省略部分
[root@localhost ~]# systemctl restart haproxy.service     //重新啟動haproxy服務
[root@localhost ~]# vi /etc/rsyslog.d/haproxy.conf     //重新編寫一個haproxy組態檔
if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
& ~
[root@localhost ~]# systemctl restart rsyslog.service 
[root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log 
Sep 25 02:19:05 localhost haproxy[21757]: 192.168.30.1:53145 [25/Sep/2020:02:18:51.585] webcluster webcluster/inst1 0/0/0/1/13874 304 1083 - - CD-- 2/2/0/0/0 0/0 "GET / HTTP/1.1"
Sep 25 02:20:09 localhost haproxy[21757]: 192.168.30.1:53212 [25/Sep/2020:02:19:16.966] webcluster webcluster/inst2 0/0/2/1/52421 404 3550 - - cD-- 2/2/1/0/0 0/0 "GET /favicon.ico HTTP/1.1"
Sep 25 02:20:10 localhost haproxy[21757]: 192.168.30.1:53233 [25/Sep/2020:02:19:20.189] webcluster webcluster/inst1 0/0/1/1/50248 200 637 - - cD-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"

6.Haproxy引數優化

隨著企業網站負載增加，haproxy引數優化相當重要

優化引數含義
maxconn最大連線數，根據應用實際情況進行調整，推薦使用10240
daemon守護行程模式，Haproxy可以使用非守護行程模式啟動，建議使用守護行程模式啟動
nbproc負載均衡的並行程序數，建議與當前伺服器CPU核數相等或為其2倍
retries重試次數，主要用於對叢集節點的檢查，如果節點多，且並行量大，設定為2次或3次
option http-server-close主動關閉http請求選項，建議在生產環境中使用此選項
timeout http-keep-alive長連線超時時間，設定長連線超時時間，可以設定為10s
timeout http-requesthttp請求超時時間，建議將此時間設定為5～10s，增加http連線釋放速度
timeout client使用者端超時時間，如果存取量過大，節點響應慢，可以將此時間設定短一些，建議設定為1min左右就可以了