前章回顧

在前一章節中，我們瞭解了DMA技術在檔案傳輸中的重要性，並簡要介紹了零拷貝技術。為了提高檔案傳輸的效能，我們需要減少使用者態與核心態之間的上下文切換次數以及記憶體拷貝次數。本章將深入探討零拷貝技術的優化方法，讓我們一起走進零拷貝的優化之路！

如何優化檔案傳輸的效能？

當我們意識到有問題需要進行優化時，我們可以逐個解決問題，例如先減少使用者態和核心態的上下文切換次數。

我們知道上下文切換是因為使用者空間沒有許可權操作磁碟或網路卡，而只能在虛擬空間上進行。相比之下，核心擁有最高許可權，因此操作裝置的任務都需要作業系統核心完成。為此，我們需要使用作業系統提供的系統呼叫函數來通過核心完成這些任務。如果對此還不清楚的小夥伴，可以檢視之前章節中單獨講解的內容。

一次系統呼叫必然會發生兩次上下文切換：首先從使用者態切換到核心態，當核心執行完任務後，再切換回使用者態由程序程式碼繼續執行。

因此，要減少上下文切換的次數，就需要減少系統呼叫的次數。

另外，我們還可以減少資料拷貝的次數。在之前的分析中，我們發現操作會進行四次資料拷貝，包括兩次CPU拷貝和兩次DMA控制器資料拷貝。然而，在檔案傳輸過程中，我們實際上並沒有對檔案進行任何操作，只是將磁碟檔案傳輸給網路卡。CPU資料拷貝的次數是由於上下文切換導致CPU在使用者態和核心態之間來回複製資料，這是沒有必要的。此外，使用者緩衝區在整個傳輸過程中也是沒有必要存在的。

如何實現零拷貝

零拷貝技術實現的方式通常有 2 種：

1. mmap + write
2. sendfile

讓我們來探討一下如何通過兩種方式實現零拷貝技術，從而減少上下文切換和資料拷貝的次數。

mmap（共用緩衝區） + write

首先是使用 mmap + write 的方式。在之前的討論中，我們瞭解到在使用 read() 系統呼叫時，會發生將核心緩衝區的資料拷貝到使用者緩衝區的過程。為了減少這一步的開銷，可以使用 mmap() 替換 read() 系統呼叫函數。

我們之前在討論程序間如何通訊時，我們有提到過共用緩衝區，即將核心態的一部分記憶體空間對映到應用程式所使用的虛擬空間上。如圖所示：

而我們此時並不需要多個程序通訊，如果只需要將實體記憶體對映給需要檔案傳輸的程序，情況就會變得稍有不同。那麼就可以演化成下面的這種方式，如圖所示：

具體過程如下：

1. 應用程式呼叫 mmap() 函數後，DMA會將磁碟資料拷貝到核心態的快取區上，然後應用程式與作業系統共用這個緩衝區。
2. 應用程式呼叫 write()，作業系統直接將核心態中的緩衝區資料拷貝到 socket 緩衝區，此時只在核心態進行操作，不會產生使用者態和核心態切換，資料搬運過程由CPU完成。
3. 最後，將核心的 socket 緩衝區資料拷貝到網路卡中的資料緩衝區，這一步由DMA控制器操作。

我們可以得知，通過使用 mmap() 替代 read()，可以減少一次資料拷貝的過程。然而，這仍然不是最理想的零拷貝方式，因為仍然需要通過 CPU 將核心緩衝區的資料拷貝到 socket 緩衝區，且仍然需要進行 4 次上下文切換，因為系統呼叫仍然發生了兩次。

接下來，我們來看第二種實現零拷貝的方式 - sendfile。

sendfile

在 Linux 核心版本 2.1 中，引入了一個名為sendfile()的系統呼叫函數，它提供了一種更高效的檔案傳送方法。sendfile()函數的使用方式如下：

#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);	

該函數的前兩個引數是目標端和源端的檔案描述符，後面兩個引數分別表示源端的偏移量和要複製的資料長度。函數的返回值是實際複製資料的長度。

sendfile()函數具有以下優點：

首先，它可以代替之前需要使用read()和write()兩個系統呼叫的操作，從而減少了一次系統呼叫的開銷。儘管sendfile()函數本身仍然需要進行系統呼叫，但仍然能夠減少了2次上下文切換的開銷。

其次，該系統呼叫可以直接將核心緩衝區中的資料複製到通訊端緩衝區中，而無需再複製到使用者態。這樣一來，只需要進行2次上下文切換和3次資料拷貝。下圖展示了這一過程的流程：

然而，這個過程仍然不能被稱為真正的零拷貝技術。如果我們的網路卡支援SG-DMA（散射-聚集直接記憶體存取）技術，與普通的DMA有所不同，那麼我們可以進一步減少通過CPU將核心緩衝區中的資料拷貝到通訊端緩衝區的過程。

你可以在你的Linux系統上使用以下命令來檢視網路卡是否支援散射-聚集特性：：

$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on

因此，從Linux核心2.4版本開始，在網路卡支援SG-DMA技術的情況下，sendfile()系統呼叫的過程發生了一些變化，具體過程如下：

第一步，通過DMA將磁碟上的資料拷貝到核心緩衝區中；

第二步：核心緩衝區只需要將描述符和資料長度傳送給通訊端緩衝區，然後將直接通過SG-DMA將核心緩衝區中的資料拷貝到網路卡的緩衝區中，這個過程不再需要從作業系統的核心緩衝區中拷貝到通訊端緩衝區，從而減少了一次資料拷貝的過程。

因此，在這個過程中，只進行了兩次資料拷貝，如下圖所示：

這就是所謂的零拷貝（Zero-copy）技術，因為我們沒有在記憶體層面進行資料拷貝，也就是說在整個過程中沒有使用CPU來傳輸資料，而是完全依靠DMA來進行資料傳輸。

相比傳統的檔案傳輸方式，零拷貝技術可以減少2次上下文切換和資料拷貝的次數，只需要進行2次上下文切換和資料拷貝，就能完成檔案的傳輸。而且這2次資料拷貝過程都不需要通過CPU，而是由DMA來進行資料傳輸。

因此，總體來看，零拷貝技術可以將檔案傳輸的效能提升至少一倍以上。值得一提的是，在講解零拷貝技術時，並沒有提到網路協定是在哪個步驟中封裝的。大家也應該知道，在核心中完成了網路協定的封裝，而不是直接從緩衝區中取出資料並行送給網路卡就結束了。

總結

本章主要介紹了零拷貝技術在檔案傳輸中的優化方法。首先，通過減少使用者態和核心態之間的上下文切換次數和資料拷貝次數來優化檔案傳輸的效能。其次，介紹了兩種實現零拷貝的方式：mmap + write和sendfile。通過使用mmap + write，可以將核心緩衝區的資料直接拷貝到socket緩衝區，減少一次資料拷貝過程。而使用sendfile系統呼叫，則可以進一步減少系統呼叫和資料拷貝次數。若網路卡支援SG-DMA技術，還可以通過DMA將核心緩衝區的資料直接拷貝到網路卡緩衝區，實現真正的零拷貝。