技術文章 » C#中HttpWebRequest發起HTTP請求，如何設定才能達到最大並行和效能

C#中HttpWebRequest發起HTTP請求，如何設定才能達到最大並行和效能

2023-12-01 06:01:34

在C#中使用HttpWebRequest發起HTTP請求時，達到最大並行和效能可以從以下幾個方面改進：

1. ServicePointManager設定

ServicePointManager 類是一個靜態類，它提供了用於管理HTTP連線的屬性和方法。為了提升並行效能，你需要調整以下幾個關鍵屬性：

  • DefaultConnectionLimit: 預設情況下，.NET Framework的ServicePointManager限制了對同一域名的並行連線數（通常是2）。你可以通過提高這個限制來允許更多的並行連線。

ServicePointManager.DefaultConnectionLimit = 100; // 一個合適的值，例如100

  • Expect100Continue: 當你傳送一個POST請求時，.NET會先傳送一個包含Expect: 100-continue頭部的請求，詢問伺服器是否願意接受資料。禁用此選項可能會提高效能。

ServicePointManager.Expect100Continue = false;

  • ReusePort: 這是.NET Core中的一個設定，如果你使用.NET Core，開啟這個設定可以讓不同的HTTP請求重用相同的本地埠。

ServicePointManager.ReusePort = true;

2. 非同步程式設計模型

使用HttpWebRequest的非同步方法，如BeginGetResponse和EndGetResponse或者GetResponseAsync，可以讓你的應用程式在等待HTTP響應時不會阻塞，這對於提高並行效能非常重要。

3. 資源利用和釋放

確保在請求完成後及時釋放HttpWebResponse物件和其他資源，以避免不必要的資源佔用和記憶體漏失。

using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) { // 處理響應 }

4. 並行處理

在.NET中，可以使用Parallel類或者Task類來並行傳送多個請求。

var tasks = urls.Select(url => Task.Run(() => { 
// 使用HttpWebRequest傳送請求 })).ToArray(); 
Task.WaitAll(tasks); // 等待所有請求完成

 

5. 使用HttpClient

如果可能，考慮使用HttpClient類來代替HttpWebRequest。

HttpClient是一個更現代的HTTP使用者端，它提供了更簡潔的API，更好的非同步支援，並且預設就設定了更高的並行連線限制。

using (var client = new HttpClient()) { // 傳送請求 }

6. 系統級設定

有時候，作業系統級別的設定也會對HTTP並行效能產生影響。例如，在Windows上，可能需要調整登入檔中的MaxUserPort和TcpTimedWaitDelay值來增加可用的埠數量和減少埠釋放前的等待時間。

在Windows作業系統中，MaxUserPort 是一個登入檔項，用於確定可用的最大使用者埠號。預設情況下，MaxUserPort 的值通常設定為 5000，這意味著TCP/IP協定棧會使用1024到5000之間的埠號用於使用者的TCP/UDP連線。

如果你需要調整 MaxUserPort 的值（比如，你想要允許更多的並行網路連線），你可以通過登入檔編輯器（regedit）進行修改。通常，MaxUserPort 的值位於以下登入檔路徑：

HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Tcpip\Parameters

在修改 MaxUserPort 值後，通常需要重啟Windows作業系統來使更改生效，因為TCP/IP堆疊需要重新載入設定引數。

對於高並行應用，MaxUserPort 值可以設定得更高，以允許系統開啟更多的動態埠。理論上，這個值可以設定到 65534 （因為 0 到 1023 是保留埠，而 65535 是最大埠號），但實際上，推薦的最大值通常會低於這個理論上限。

在實踐中，很多Windows伺服器管理員可能會將 MaxUserPort 設定在 10000 到 60000 之間，具體數值取決於應用需求以及系統和網路環境。微軟官方檔案曾建議可以將 MaxUserPort 設定為 32768，但這並不是一個硬性限制，實際應用中應根據具體情況進行設定。

設定 MaxUserPort 時應當謹慎，因為非常高的值可能會導致系統資源（例如記憶體和控制程式碼等）的消耗增加。此外，這種改變可能會影響到網路安全策略。因此，最好在調整這個值之前評估應用的實際需求，並在測試環境中進行充分測試。

在修改 MaxUserPort 後，你需要重啟系統以使設定生效。同時，建議配合 TcpTimedWaitDelay 登入檔項一起調整，這可以幫助更快地回收處於 TIME_WAIT 狀態的埠，從而允許系統再次使用這些埠。預設情況下，TcpTimedWaitDelay 的值為 240 秒，但可以減少到 30-60 秒，特別是在高並行環境中，這樣可以幫助減少因為埠耗盡導致的連線問題。

TcpTimedWaitDelay 是Windows登入檔中的一個項，用於控制TCP連線關閉後，其埠進入TIME_WAIT狀態的時間。TIME_WAIT狀態是TCP連線斷開後的一種保持狀態，用於確保最後的確認包能夠到達。這個時間預設是240秒。

減少 TcpTimedWaitDelay 的值可以加快埠的回收速度，這對於那些需要處理大量短連線的高並行應用是有益的。對於 TcpTimedWaitDelay，典型的設定值介於30秒到120秒之間。

要設定 TcpTimedWaitDelay，請按照以下步驟：

  • 開啟登入檔編輯器（regedit）。這可以通過在開始選單中搜尋「regedit」或者按 Win + R 鍵開啟執行視窗，然後輸入 regedit 並回車來完成。

  • 導航到以下路徑：

    HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Tcpip\Parameters

  • 查詢 TcpTimedWaitDelay 鍵值。如果它不存在，你需要建立它：

    • 右鍵點選 Parameters 目錄，選擇 新建 -> DWORD (32位元) 值。
    • 將新建立的鍵值命名為 TcpTimedWaitDelay。

  • 雙擊 TcpTimedWaitDelay 鍵值，然後在「數值資料」框中輸入你希望設定的秒數（請確保你選擇了十進位制而不是十六進位制）。

  • 點選「確定」儲存更改。

  • 關閉登入檔編輯器。

  • 為了使更改生效，你需要重啟你的計算機。

在調整 TcpTimedWaitDelay 之前，請確保你瞭解更改的影響，並且在生產環境中進行更改前在測試環境中進行了充分測試。不恰當的設定可能會導致不預期的行為，例如潛在的網路問題或效能下降。

7. 伺服器設定

使用者端效能的提升也依賴於伺服器端的設定。確保伺服器能夠處理高並行連線和請求。

8. 效能測試

使用壓力測試工具（如JMeter或LoadRunner）對你的應用程式進行壓力測試，以確定最佳的並行設定。通過測試可以發現效能瓶頸，並據此調整設定。

注意事項

  • 設定ServicePointManager.DefaultConnectionLimit過高可能會導致伺服器壓力增大，甚至拒絕服務，應根據實際情況謹慎設定。
  • 在高並行場景中，HttpClient通常是比HttpWebRequest更好的選擇。
  • 使用非同步程式設計模式時，確保理解async和await關鍵字，避免常見的陷阱，如死鎖。