Nginx的一些騷操作

2020-10-12 14:00:09


前言

相關引數

  • worker_processes
  • worker_cpu_affinity
  • multi_accept
  • worker_rlimit_nofile
  • worker_connections
  • backlog

worker_processes

讓nginx開啟多核CPU的設定,可以將程序繫結到一組CPU上,依據伺服器CPU核數設定。(不是CPU數量哦)

 user  nginx;
 worker_processes 8;  # 伺服器8核 可以設定8核,依據核心數量設定,注意不是CPU數量

worker_cpu_affinity

可以配合worker_processes 使用,將程序繫結到指定的CPU核心,CPU核心的指定可以通過CPU的位掩碼來表示。

 如果是四核的伺服器,那麼第一個CPU核心就是 0001 第二個CPU核心為 0010,依次類推

伺服器會出現個別CPU很閒,壓力很小,這個時候我們就可以將nginx繫結到閒置的CPU身上

通過使用Top命令,按1鍵檢視每個CPU核心的使用情況
範例:

top - 11:17:46 up 20 days, 20:54,  5 users,  load average: 0.28, 0.22, 0.32
Tasks: 354 total,   2 running, 352 sleeping,   0 stopped,   0 zombie
%Cpu0  :  5.0 us,  1.3 sy,  0.0 ni, 93.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  :  3.7 us,  0.7 sy,  0.0 ni, 95.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :  2.7 us,  1.7 sy,  0.0 ni, 95.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :  0.7 us,  0.7 sy,  0.0 ni, 98.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu4  :  1.0 us,  1.0 sy,  0.0 ni, 98.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu5  :  1.0 us,  1.0 sy,  0.0 ni, 98.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu6  :  1.0 us,  1.3 sy,  0.0 ni, 97.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu7  :  1.7 us,  1.7 sy,  0.0 ni, 96.3 id,  0.0 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu8  :  1.3 us,  0.7 sy,  0.0 ni, 98.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu9  :  4.0 us,  1.0 sy,  0.0 ni, 95.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu10 :  0.7 us,  0.7 sy,  0.0 ni, 98.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu11 :  0.3 us,  0.3 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu12 :  0.7 us,  0.7 sy,  0.0 ni, 98.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.3 st
%Cpu13 :  0.7 us,  0.7 sy,  0.0 ni, 98.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.3 st
%Cpu14 :  0.7 us,  0.3 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu15 :  0.7 us,  0.7 sy,  0.0 ni, 98.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 16264568 total,   800660 free,  8007112 used,  7456796 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  7169460 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                           
15159 root      20   0 2285980 111220  29940 S   3.7  0.7   1310:31 kubelet                                           
21002 polkitd   20   0 9625676  87996   5200 S   2.7  0.5  73:08.99 beam.smp                                          
 4357 root      20   0 2034248 105228  17996 S   2.3  0.6   1966:23 dockerd                                           
25879 root      20   0 2740444  43716  17000 S   1.3  0.3 680:10.67 calico-node  

我們可以這樣設定

user  nginx;
worker_processes 2; # 使用兩核CPU
worker_cpu_affinity 0000000000000100 0000001000000000; #繫結到第三個和第十個CPU核心

也可以這樣設定

worker_processes auto; # 允許將工作程序自動繫結到可用CPU核心
worker_cpu_affinity auto; 

還能這樣玩

worker_processes auto; # 允許將工作程序自動繫結到可用CPU核心
worker_cpu_affinity auto 001  100;  # 限制可以自動繫結的CPU核心

multi_accept

預設關閉, 關閉狀態下一個工作程序只能接收一個新連線。該引數設定在nginx的events模組中,
此外還有個引數需要注意 accept_mutex 預設為off,該引數為off狀態時,在某一時刻,如果只有一個請求,也會導致多個睡眠的程序被喚醒。

一般這樣設定

events {
    accept_mutex on; # 當只有單個請求時,不會導致多個程序被喚醒
    multi_accept on; # 允許接受多個新網路連線請求
    use epoll;
}

如果nginx使用kqueue連線方法,那麼這條指令會被忽略,因為這個方法會報告在等待被接受的新連線的數量

worker_rlimit_nofile

如果不修改改設定和系統預設limit引數 則可能會遇到open too many files錯誤

檢視系統預設最大檔案描述符
ulimit -n

[root@192 ~]# ulimit -n 
1024
預設為1024

引數和worker_processes與worker_connections 也有一點關係

系統的最大檔案描述符>= worker_connections*worker_process

嘗試修改系統最大檔案描述符

第一個方式
編輯檔案   vi /etc/security/limits.conf
加入以下內容
*  soft    nofile  65536
*  hard    nofile  65536

修改組態檔,需要重新啟動才能生效

這樣我們可以在環境變數中在設定一次,讓他立即生效

編輯檔案 vi  /etc/profile 
新增 ulimit -n 65535

範例


# Functions and aliases go in /etc/bashrc

# It's NOT a good idea to change this file unless you know what you
# are doing. It's much better to create a custom.sh shell script in
# /etc/profile.d/ to make custom changes to your environment, as this
# will prevent the need for merging in future updates.
ulimit -n 65535
pathmunge () {
    case ":${PATH}:" in
        *:"$1":*)
            ;;
        *)
            if [ "$2" = "after" ] ; then
                PATH=$PATH:$1
            else
                PATH=$1:$PATH
            fi
    esac
}

新增完成後重新整理環境變數

. /etc/profile 或者 source /etc/profile

再次檢視
[root@192 ~]# ulimit -n      
65535
[root@192 ~]# 

nginx設定

worker_rlimit_nofile 35535;  #根據環境適當修改

worker_connections

單個程序允許的最大使用者端連線數,位於events模組中

nginx能處理的最大並行數量
該值不能超過 worker_rlimit_nofile 否者會出現worker_connections exceed open file resource limit: xxx

網上相關資訊一般是以 worker_rlimit_nofile >= worker_connections*worker_process 來設定該引數,具體可依照環境資訊調控

範例

events {
    worker_connections  2048;
    accept_mutex on; 
    multi_accept on;
}

backlog

該引數設定在listen 後面,為底層listen函數的一個引數,預設值為511
詳細內容參照官方檔案,也可以看看這篇文章http://www.04007.cn/article/323.html

我們瞭解兩個linux核心引數
net.core.somaxconn
net.ipv4.tcp_max_syn_backlog

這兩個引數預設值為128
 tcp_max_syn_backlog是指定所能接受SYN同步包的最大使用者端數量,半連線上限,為SYN_REVD狀態的連線數。
 somaxconn是Linux中的一個kernel引數,指的是伺服器端所能accept即處理資料的最大使用者端數量,即完成連線上限。
 好像 tcp_max_syn_backlog>=somaxconn
 tcp_max_syn_backlog 就是我能接收多少請求
 somaxconn 我能完成多少請求
 理論上貌似是這樣的,但是這兩個屬性的設定沒有直接關係。
 請以你的系統環境情況來分配 somaxconn 和 tcp_max_syn_backlog。
 不要被忽悠了,詳細內容見官方檔案。

 net.core.somaxconn 影響到了nginx快取佇列的最大的連線數量。
 net.core.netdev_max_backlog 被切換到CPU處理前被網路卡快取的速率包,根據網路卡檔案加大值可以提高效能

對於高負載的伺服器來說,128肯定是不夠用的。
具體設定為多少可以根據自己系統業務情況來定奪。

修改預設值

編輯檔案
 vi /etc/sysctl.conf 
 加入以下內容
 範例
 
 [root@192 ~]# vi /etc/sysctl.conf 
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).

net.ipv4.tcp_max_syn_backlog=8096
net.core.somaxconn=32768

讓設定生效
[root@192 ~]# sysctl  -p
net.ipv4.tcp_max_syn_backlog = 8096
net.core.somaxconn = 32768
[root@192 ~]# 

nginx 預設的backlog引數為511,他影響nginx握手成功的佇列大小,和系統的somaxconn 對應上了。

修改nginx預設backlog大小
範例

server {
     listen 8080 default backlog=1024;   #多域名情況 單個埠 只能設定一個
     client_max_body_size 2048M;
     proxy_cache_lock on;
     ····
     }

你想抗住一定量的流量,首先系統要能支援,在想著nginx優化。

總結

給甲方做一個H5系統的時候,前端是vue直接扔Nginx裡面的,那邊直接說Nginx能抗住五萬,你們需要能抗2-3w,我抗尼瑪,就給了四臺伺服器,雖然設定也還不錯。
Nginx預設的引數設定是扛不住太高的流量的,除此之外還要先從系統層面入手優化,首先確定你的伺服器能頂住預估的流量,在來優化你的應用,中介軟體。另外脫離業務場景談優化啥的,我也感覺扯淡。
你沒有遇到那些問題,就想著提前給優化掉,那你很牛逼啊,我反正就是划水,划水,划水。
另外附上一些系統引數調配 僅供參考

修改/etc/sysctl.conf

net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
net.ipv4.conf.all.forwarding=1
net.ipv4.neigh.default.gc_thresh1=4096
net.ipv4.neigh.default.gc_thresh2=6144
net.ipv4.neigh.default.gc_thresh3=8192
net.ipv4.neigh.default.gc_interval=60
net.ipv4.neigh.default.gc_stale_time=120

kernel.perf_event_paranoid=-1

#sysctls for k8s node config
net.ipv4.tcp_slow_start_after_idle=0
net.core.rmem_max=16777216
fs.inotify.max_user_watches=524288
kernel.softlockup_all_cpu_backtrace=1

kernel.softlockup_panic=0

kernel.watchdog_thresh=30
fs.file-max=2097152
fs.inotify.max_user_instances=8192
fs.inotify.max_queued_events=16384
vm.max_map_count=262144
fs.may_detach_mounts=1
net.core.netdev_max_backlog=16384
net.ipv4.tcp_wmem=4096 12582912 16777216
net.core.wmem_max=16777216
net.core.somaxconn=32768
net.ipv4.ip_forward=1
net.ipv4.tcp_max_syn_backlog=8096
net.ipv4.tcp_rmem=4096 12582912 16777216

net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1

kernel.yama.ptrace_scope=0
vm.swappiness=0

# 可以控制core檔案的檔名中是否新增pid作為擴充套件。
kernel.core_uses_pid=1

# Do not accept source routing
net.ipv4.conf.default.accept_source_route=0
net.ipv4.conf.all.accept_source_route=0

# Promote secondary addresses when the primary address is removed
net.ipv4.conf.default.promote_secondaries=1
net.ipv4.conf.all.promote_secondaries=1

# Enable hard and soft link protection
fs.protected_hardlinks=1
fs.protected_symlinks=1

# 源路由驗證
# see details in https://help.aliyun.com/knowledge_detail/39428.html
net.ipv4.conf.all.rp_filter=0
net.ipv4.conf.default.rp_filter=0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_announce=2

# see details in https://help.aliyun.com/knowledge_detail/41334.html
net.ipv4.tcp_max_tw_buckets=5000
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_synack_retries=2
kernel.sysrq=1

我也是白嫖過來的,白嫖香~~~