PHP之探索MySQL 長連線、連線池

2020-10-08 21:00:53

php連線mysql的方式,用的多的是mysql擴充套件、mysqli擴充套件、pdo_mysql擴充套件,是官方提供的。php的執行機制是頁面執行完會釋放所有該php程序中的所有資源的,如果有多個並行存取原生的測試頁面 http://127.0.0.1/1.php 根據php跟web伺服器的不同,會開相應的執行緒或者程序去處理該請求,請求完了會釋放結果的。也就是php無法從語言層面從頁面到頁面之間傳遞一些資料,但是mysql_pconnect跟pdo中的ATTR, 設定array(PDO::ATTR_PERSISTENT => true)如下是可以實現長連線的。

$conn = new PDO($dsn, DB_USER, DB_PASSWORD,
    array(PDO::ATTR_PERSISTENT => true)
);

長連線的作用我覺得是在高負載的情況下,通過複用長連線,減少了每個頁面的建立資料庫連線的時間,而這個建立mysql connection的時間,在我的機器上

  • 在資料庫connnections < 10的情況下 , mysql pdo 建立connection time 為0.003ms, mysqli建立connection time為0.14ms

  • 在資料庫connection接近滿的時候,mysql pdo建立connection time為0.13ms, mysqli建立connection time為0.13ms

以上樣本都是在大概估測時間,時間太小不好估計。其實建立連線的時間並不長,那這樣為什麼需要mysql長連線、連線池這樣的東西呢。那是在高負載下,比如server單機可以接受的mysql並行在200左右,web server的單機並行在700左右,那麼當大批次500並行連線壓過來的時候, web server沒到滿負荷, mysql提前到了滿負荷,就會導致所有頁面無法響應、或者已經建立好資料庫連線的頁面執行很慢。

php中的mysql長連線由於php的執行方式有多種,因而長連線實現也有多種。需要web伺服器支援才可以實現長連線,因為php是沒有程序池跟連線池這種概念的,絕大多數情況下php應用本身不是一個應用伺服器(後起之秀swoole, 是一個優秀的php應用伺服器,不過是在c層面做的)。因而php的長連線其實是搭載apache這樣的帶有mpm模組的webserver, linux 下apache會維護一個程序池,開啟了apache mpm功能之後,apache會預設維持一個程序池,mysql長連線之後的連線,並沒有作為socet連線關閉,而是作為一個不釋放的東西,放進了程序池/執行緒池裡面去。等需要連線的時,apache從它維護的程序池/執行緒池裡面取出mysql socket connnection, 然後就可以複用此連線了。

這裡測試一下,首先本機環境是archlinux , 後文所用mysql httpd php都是自己編譯的原始碼,都在/home/dengpan/opt目錄。httpd的mpm模型這裡採用的是worker, httpd的mpm(apache用於並行方面功能的,俗稱多路處理模組)其實有perfork、worker、event三種。mpm的好處是讓apache隨時有些備用的spare或者空閒的子程序(伺服器執行緒池),隨時等待新過來的請求,這樣使用者端不需要在請求服務之前等待子程序的產生。

使用什麼mpm,需要單獨指定編譯進去apache裡面去,比如編譯work mpm到apache裡面去,比如我的最簡化httpd的編譯引數是

./configure \
--with-apr=/home/dengpan/opt/apr-1.5.2 \
--with-apr-util=/home/dengpan/opt/apr-util-1.5.4 \
--prefix=/home/dengpan/opt/httpd-2.4.16 \
--with-mpm=worker

檢視httpd載入的模組,

在這裡插入圖片描述

看到worker.c 已經編譯過去了,

mpm的設定引數為

<IfModule mpm_worker_module>
	StartServers			 15
	MinSpareThreads		 75
	MaxSpareThreads		250
	ThreadsPerChild		 10
	MaxRequestWorkers	  400
	MaxConnectionsPerChild   0
</IfModule>

啟動apache用pstree看到 |-httpd—15*[httpd—11*[{httpd}]],說明起了15個server程序,每個server起了10個子執行緒。整個mpm要維持的最小的閒置執行緒數量在75,最大的閒置執行緒在250。滿載的最大的工作執行緒在400個。下面準備一個shell指令碼,每1秒輸出下當前mysql的active連線數量, 檢視mysql current連線數我用的較多的有2個方法

  • 進mysql shell, 執行SHOW STATUS WHERE variable_name = ‘Threads_connected’; 不過這個方法得mysql shell進的去才對,當connections很多的時候,mysql shell進不去也就無法查詢了

  • shell直接查詢, find /proc/pidof mysqld/fd/ -follow -type s | wc -l , 需要root許可權,好處是即使mysql因為too many connections無法進入shell的時候還是可以連線進去。

這裡用方法2,因為後面回到機器的mysql滿載負荷的。寫一個shell如下:

#!/bin/bash
while(true)
do
    find /proc/`pidof mysqld`/fd/ -follow -type s | wc -l
	sleep 1
done

後面執行該shell不斷的輸出當前連線數,測試可得

  1. cli下執行php,長連線無效,cli下指令碼一退出,連線即釋放

  2. apche+mod_php不開啟mpm模組的話,無論mysql mysql_pconnect、pdo_mysql長連線, 頁面存取完畢, mysql連線即釋放。

  3. apche+mod_php開啟mpm模組(worker模式)的話,無論mysql mysql_pconnect、pdo_mysql長連線, 頁面存取完畢, mysql連線+1,直到達到最大的mysql連線數,不在增加,但是存取頁面還是可以複用連線查詢到相應資料。

  4. nginx+php-fpm下mysql長連線基本無效果。

apache之所以能夠複用mysql連線,說明apache肯定為mysql自己實現了一些功能函數、模組,否則不可能把一個未知型別的socket指標存下來的。用ldd檢視,

➜  mysql_persist  ldd /home/dengpan/opt/httpd-2.4.16/bin/httpd
        linux-vdso.so.1 (0x00007ffffcbde000)
        libpcre.so.1 => /usr/lib/libpcre.so.1 (0x00007f8e8d17c000)
        libaprutil-1.so.0 => /home/dengpan/opt/apr-util-1.5.4/lib/libaprutil-1.so.0 (0x00007f8e8cf57000)
        libexpat.so.1 => /usr/lib/libexpat.so.1 (0x00007f8e8cd2d000)
        libapr-1.so.0 => /home/dengpan/opt/apr-1.5.2/lib/libapr-1.so.0 (0x00007f8e8cafb000)
        libuuid.so.1 => /usr/lib/libuuid.so.1 (0x00007f8e8c8f6000)
        librt.so.1 => /usr/lib/librt.so.1 (0x00007f8e8c6ee000)
        libcrypt.so.1 => /usr/lib/libcrypt.so.1 (0x00007f8e8c4b6000)
        libpthread.so.0 => /usr/lib/libpthread.so.0 (0x00007f8e8c299000)
        libdl.so.2 => /usr/lib/libdl.so.2 (0x00007f8e8c095000)
        libc.so.6 => /usr/lib/libc.so.6 (0x00007f8e8bcf3000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f8e8d3ec000)

可以猜測出/home/dengpan/opt/apr-util-1.5.4/lib/libaprutil-1.so.0跟/home/dengpan/opt/apr-1.5.2/lib/libapr-1.so.0應實現了跟mysql相關的程式碼段。由於我是本地編譯的,很方便找到函數入口,/home/dengpan/github/apache-httpd/apr-util-1.5.4/dbd/apr_dbd_mysql.c這個檔案,其實是apache的mod_dbd對常見的資料庫都做了長連線支援。而nginx跟php-fpm的關係並不像php跟apache那樣,所以nginx+php-fpm無法實現對應的長連線。大概是php-fpm並沒有做mysql的程序、執行緒池。

最後給出我的建議,一般小型php應用是沒有效能問題的,php自身連線mysql很快,很多都處於效能過剩, 隨著apache慢慢被nginx替代,php的mysql長連線也只會越來越雞肋。單機的話,其實要是怕mysql建立connections有壓力,最好把mysql的建立使用單例模式,這樣一個頁面只會建立一個mysql連線範例。諸如下面的單例例子程式碼,而這個更適合寫在框架裡去實現單例。

<?php
/**
 * Created by PhpStorm.
 * User: dengpan
 * Date: 15-7-24
 * Time: 下午2:56
 */
include "./db.php";
class DB {
	private static $_instance;
	private $db;
	private function __construct()
	{
		$this->db =  new mysqli(DB_HOST, DB_USER, DB_PASSWORD, 'my', 3307);
	}
	public static function getInstance()
	{
		if (!(self::$_instance instanceof DB)) {
			self::$_instance = new self();
		}
		return self::$_instance;
	}
	private function __clone()
	{
	}
	public function getConn()
	{
		return $this->db;
	}
}
$conn = DB::getInstance()->getConn();

點關注,不迷路

好了各位,以上就是這篇文章的全部內容了,能看到這裡的人呀,都是人才。之前說過,PHP方面的技術點很多,也是因為太多了,實在是寫不過來,寫過來了大家也不會看的太多,所以我這裡把它整理成了PDF和檔案,如果有需要的可以

點選進入暗號: PHP+「平臺」

在這裡插入圖片描述

在這裡插入圖片描述


更多學習內容可以存取【對標大廠】精品PHP架構師教學目錄大全,只要你能看完保證薪資上升一個臺階(持續更新)

以上內容希望幫助到大家,很多PHPer在進階的時候總會遇到一些問題和瓶頸,業務程式碼寫多了沒有方向感,不知道該從那裡入手去提升,對此我整理了一些資料,包括但不限於:分散式架構、高可延伸、高效能、高並行、伺服器效能調優、TP6,laravel,YII2,Redis,Swoole、Swoft、Kafka、Mysql優化、shell指令碼、Docker、微服務、Nginx等多個知識點高階進階乾貨需要的可以免費分享給大家,需要的可以加入我的 PHP技術交流群