相關引數
讓nginx開啟多核CPU的設定,可以將程序繫結到一組CPU上,依據伺服器CPU核數設定。(不是CPU數量哦)
user nginx;
worker_processes 8; # 伺服器8核 可以設定8核,依據核心數量設定,注意不是CPU數量
可以配合worker_processes 使用,將程序繫結到指定的CPU核心,CPU核心的指定可以通過CPU的位掩碼來表示。
如果是四核的伺服器,那麼第一個CPU核心就是 0001 第二個CPU核心為 0010,依次類推
伺服器會出現個別CPU很閒,壓力很小,這個時候我們就可以將nginx繫結到閒置的CPU身上
通過使用Top命令,按1鍵檢視每個CPU核心的使用情況
範例:
top - 11:17:46 up 20 days, 20:54, 5 users, load average: 0.28, 0.22, 0.32
Tasks: 354 total, 2 running, 352 sleeping, 0 stopped, 0 zombie
%Cpu0 : 5.0 us, 1.3 sy, 0.0 ni, 93.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 3.7 us, 0.7 sy, 0.0 ni, 95.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 2.7 us, 1.7 sy, 0.0 ni, 95.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 0.7 us, 0.7 sy, 0.0 ni, 98.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu4 : 1.0 us, 1.0 sy, 0.0 ni, 98.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu5 : 1.0 us, 1.0 sy, 0.0 ni, 98.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu6 : 1.0 us, 1.3 sy, 0.0 ni, 97.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu7 : 1.7 us, 1.7 sy, 0.0 ni, 96.3 id, 0.0 wa, 0.0 hi, 0.3 si, 0.0 st
%Cpu8 : 1.3 us, 0.7 sy, 0.0 ni, 98.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu9 : 4.0 us, 1.0 sy, 0.0 ni, 95.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu10 : 0.7 us, 0.7 sy, 0.0 ni, 98.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu11 : 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu12 : 0.7 us, 0.7 sy, 0.0 ni, 98.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.3 st
%Cpu13 : 0.7 us, 0.7 sy, 0.0 ni, 98.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.3 st
%Cpu14 : 0.7 us, 0.3 sy, 0.0 ni, 99.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu15 : 0.7 us, 0.7 sy, 0.0 ni, 98.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 16264568 total, 800660 free, 8007112 used, 7456796 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 7169460 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15159 root 20 0 2285980 111220 29940 S 3.7 0.7 1310:31 kubelet
21002 polkitd 20 0 9625676 87996 5200 S 2.7 0.5 73:08.99 beam.smp
4357 root 20 0 2034248 105228 17996 S 2.3 0.6 1966:23 dockerd
25879 root 20 0 2740444 43716 17000 S 1.3 0.3 680:10.67 calico-node
我們可以這樣設定
user nginx;
worker_processes 2; # 使用兩核CPU
worker_cpu_affinity 0000000000000100 0000001000000000; #繫結到第三個和第十個CPU核心
也可以這樣設定
worker_processes auto; # 允許將工作程序自動繫結到可用CPU核心
worker_cpu_affinity auto;
還能這樣玩
worker_processes auto; # 允許將工作程序自動繫結到可用CPU核心
worker_cpu_affinity auto 001 100; # 限制可以自動繫結的CPU核心
預設關閉, 關閉狀態下一個工作程序只能接收一個新連線。該引數設定在nginx的events模組中,
此外還有個引數需要注意 accept_mutex 預設為off,該引數為off狀態時,在某一時刻,如果只有一個請求,也會導致多個睡眠的程序被喚醒。
一般這樣設定
events {
accept_mutex on; # 當只有單個請求時,不會導致多個程序被喚醒
multi_accept on; # 允許接受多個新網路連線請求
use epoll;
}
如果nginx使用kqueue連線方法,那麼這條指令會被忽略,因為這個方法會報告在等待被接受的新連線的數量
如果不修改改設定和系統預設limit引數 則可能會遇到open too many files錯誤
檢視系統預設最大檔案描述符
ulimit -n
[root@192 ~]# ulimit -n
1024
預設為1024
引數和worker_processes與worker_connections 也有一點關係
系統的最大檔案描述符>= worker_connections*worker_process
嘗試修改系統最大檔案描述符
第一個方式
編輯檔案 vi /etc/security/limits.conf
加入以下內容
* soft nofile 65536
* hard nofile 65536
修改組態檔,需要重新啟動才能生效
這樣我們可以在環境變數中在設定一次,讓他立即生效
編輯檔案 vi /etc/profile
新增 ulimit -n 65535
範例
# Functions and aliases go in /etc/bashrc
# It's NOT a good idea to change this file unless you know what you
# are doing. It's much better to create a custom.sh shell script in
# /etc/profile.d/ to make custom changes to your environment, as this
# will prevent the need for merging in future updates.
ulimit -n 65535
pathmunge () {
case ":${PATH}:" in
*:"$1":*)
;;
*)
if [ "$2" = "after" ] ; then
PATH=$PATH:$1
else
PATH=$1:$PATH
fi
esac
}
新增完成後重新整理環境變數
. /etc/profile 或者 source /etc/profile
再次檢視
[root@192 ~]# ulimit -n
65535
[root@192 ~]#
nginx設定
worker_rlimit_nofile 35535; #根據環境適當修改
單個程序允許的最大使用者端連線數,位於events模組中
nginx能處理的最大並行數量
該值不能超過 worker_rlimit_nofile 否者會出現worker_connections exceed open file resource limit: xxx
網上相關資訊一般是以 worker_rlimit_nofile >= worker_connections*worker_process 來設定該引數,具體可依照環境資訊調控
範例
events {
worker_connections 2048;
accept_mutex on;
multi_accept on;
}
該引數設定在listen 後面,為底層listen函數的一個引數,預設值為511
詳細內容參照官方檔案,也可以看看這篇文章http://www.04007.cn/article/323.html
我們瞭解兩個linux核心引數
net.core.somaxconn
net.ipv4.tcp_max_syn_backlog
這兩個引數預設值為128
tcp_max_syn_backlog是指定所能接受SYN同步包的最大使用者端數量,半連線上限,為SYN_REVD狀態的連線數。
somaxconn是Linux中的一個kernel引數,指的是伺服器端所能accept即處理資料的最大使用者端數量,即完成連線上限。
好像 tcp_max_syn_backlog>=somaxconn
tcp_max_syn_backlog 就是我能接收多少請求
somaxconn 我能完成多少請求
理論上貌似是這樣的,但是這兩個屬性的設定沒有直接關係。
請以你的系統環境情況來分配 somaxconn 和 tcp_max_syn_backlog。
不要被忽悠了,詳細內容見官方檔案。
net.core.somaxconn 影響到了nginx快取佇列的最大的連線數量。
net.core.netdev_max_backlog 被切換到CPU處理前被網路卡快取的速率包,根據網路卡檔案加大值可以提高效能
對於高負載的伺服器來說,128肯定是不夠用的。
具體設定為多少可以根據自己系統業務情況來定奪。
修改預設值
編輯檔案
vi /etc/sysctl.conf
加入以下內容
範例
[root@192 ~]# vi /etc/sysctl.conf
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.tcp_max_syn_backlog=8096
net.core.somaxconn=32768
讓設定生效
[root@192 ~]# sysctl -p
net.ipv4.tcp_max_syn_backlog = 8096
net.core.somaxconn = 32768
[root@192 ~]#
nginx 預設的backlog引數為511,他影響nginx握手成功的佇列大小,和系統的somaxconn 對應上了。
修改nginx預設backlog大小
範例
server {
listen 8080 default backlog=1024; #多域名情況 單個埠 只能設定一個
client_max_body_size 2048M;
proxy_cache_lock on;
····
}
你想抗住一定量的流量,首先系統要能支援,在想著nginx優化。
給甲方做一個H5系統的時候,前端是vue直接扔Nginx裡面的,那邊直接說Nginx能抗住五萬,你們需要能抗2-3w,我抗尼瑪,就給了四臺伺服器,雖然設定也還不錯。
Nginx預設的引數設定是扛不住太高的流量的,除此之外還要先從系統層面入手優化,首先確定你的伺服器能頂住預估的流量,在來優化你的應用,中介軟體。另外脫離業務場景談優化啥的,我也感覺扯淡。
你沒有遇到那些問題,就想著提前給優化掉,那你很牛逼啊,我反正就是划水,划水,划水。
另外附上一些系統引數調配 僅供參考
修改/etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
net.ipv4.conf.all.forwarding=1
net.ipv4.neigh.default.gc_thresh1=4096
net.ipv4.neigh.default.gc_thresh2=6144
net.ipv4.neigh.default.gc_thresh3=8192
net.ipv4.neigh.default.gc_interval=60
net.ipv4.neigh.default.gc_stale_time=120
kernel.perf_event_paranoid=-1
#sysctls for k8s node config
net.ipv4.tcp_slow_start_after_idle=0
net.core.rmem_max=16777216
fs.inotify.max_user_watches=524288
kernel.softlockup_all_cpu_backtrace=1
kernel.softlockup_panic=0
kernel.watchdog_thresh=30
fs.file-max=2097152
fs.inotify.max_user_instances=8192
fs.inotify.max_queued_events=16384
vm.max_map_count=262144
fs.may_detach_mounts=1
net.core.netdev_max_backlog=16384
net.ipv4.tcp_wmem=4096 12582912 16777216
net.core.wmem_max=16777216
net.core.somaxconn=32768
net.ipv4.ip_forward=1
net.ipv4.tcp_max_syn_backlog=8096
net.ipv4.tcp_rmem=4096 12582912 16777216
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1
kernel.yama.ptrace_scope=0
vm.swappiness=0
# 可以控制core檔案的檔名中是否新增pid作為擴充套件。
kernel.core_uses_pid=1
# Do not accept source routing
net.ipv4.conf.default.accept_source_route=0
net.ipv4.conf.all.accept_source_route=0
# Promote secondary addresses when the primary address is removed
net.ipv4.conf.default.promote_secondaries=1
net.ipv4.conf.all.promote_secondaries=1
# Enable hard and soft link protection
fs.protected_hardlinks=1
fs.protected_symlinks=1
# 源路由驗證
# see details in https://help.aliyun.com/knowledge_detail/39428.html
net.ipv4.conf.all.rp_filter=0
net.ipv4.conf.default.rp_filter=0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_announce=2
# see details in https://help.aliyun.com/knowledge_detail/41334.html
net.ipv4.tcp_max_tw_buckets=5000
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_synack_retries=2
kernel.sysrq=1
我也是白嫖過來的,白嫖香~~~