技術文章 » 探索 Linux 核心：Kconfig/kbuild 的秘密

探索 Linux 核心：Kconfig/kbuild 的秘密

2019-08-15 09:40:00

深入理解 Linux 設定/構建系統是如何工作的。

自從 Linux 核心程式碼遷移到 Git 以來，Linux 核心設定/構建系統（也稱為 Kconfig/kbuild）已存在很長時間了。然而，作為支援基礎設施，它很少成為人們關注的焦點；甚至在日常工作中使用它的核心開發人員也從未真正思考過它。

為了探索如何編譯 Linux 核心，本文將深入介紹 Kconfig/kbuild 內部的過程，解釋如何生成 .config 檔案和 vmlinux/bzImage 檔案，並介紹一個巧妙的依賴性跟蹤技巧。

Kconfig

構建核心的第一步始終是設定。Kconfig 有助於使 Linux 核心高度模組化和可客製化。Kconfig 為使用者提供了許多設定目標：

設定目標解釋
config利用命令列程式更新當前設定
nconfig利用基於 ncurses 選單的程式更新當前設定
menuconfig利用基於選單的程式更新當前設定
xconfig利用基於 Qt 的前端程式更新當前設定
gconfig利用基於 GTK+ 的前端程式更新當前設定
oldconfig基於提供的 .config 更新當前設定
localmodconfig更新當前設定，禁用沒有載入的模組
localyesconfig更新當前設定，轉換本地模組到核心
defconfig帶有來自架構提供的 defconcig 預設值的新設定
savedefconfig儲存當前設定為 ./defconfig（最小設定）
allnoconfig所有選項回答為 no 的新設定
allyesconfig所有選項回答為 yes 的新設定
allmodconfig盡可能選擇所有模組的新設定
alldefconfig所有符號（選項）設定為預設值的新設定
randconfig所有選項隨機選擇的新設定
listnewconfig列出新選項
olddefconfig同 oldconfig 一樣，但設定新符號（選項）為其預設值而無須提問
kvmconfig啟用支援 KVM 訪客核心模組的附加選項
xenconfig啟用支援 xen 的 dom0 和 訪客核心模組的附加選項
tinyconfig設定盡可能小的核心

我認為 menuconfig 是這些目標中最受歡迎的。這些目標由不同的主程式host program處理，這些程式由核心提供並在核心構建期間構建。一些目標有 GUI（為了方便使用者），而大多數沒有。與 Kconfig 相關的工具和原始碼主要位於核心原始碼中的 scripts/kconfig/ 下。從 scripts/kconfig/Makefile 中可以看到，這裡有幾個主程式，包括 conf、mconf 和 nconf。除了 conf 之外，每個都負責一個基於 GUI 的設定目標，因此，conf 處理大多數目標。

從邏輯上講，Kconfig 的基礎結構有兩部分：一部分實現一種新語言來定義設定項（參見核心原始碼下的 Kconfig 檔案），另一部分解析 Kconfig 語言並處理設定操作。

大多數設定目標具有大致相同的內部過程（如下所示）：

請注意，所有設定項都具有預設值。

第一步讀取原始碼根目錄下的 Kconfig 檔案，構建初始設定資料庫；然後它根據如下優先順序讀取現有組態檔來更新初始資料庫：

  1. .config
  2. /lib/modules/$(shell,uname -r)/.config
  3. /etc/kernel-config
  4. /boot/config-$(shell,uname -r)
  5. ARCH_DEFCONFIG
  6. arch/$(ARCH)/defconfig

如果你通過 menuconfig 進行基於 GUI 的設定或通過 oldconfig 進行基於命令列的設定，則根據你的自定義更新資料庫。最後，該設定資料庫被轉儲到 .config 檔案中。

但 .config 檔案不是核心構建的最終素材；這就是 syncconfig 目標存在的原因。syncconfig曾經是一個名為 silentoldconfig 的設定目標，但它沒有做到其舊名稱所說的工作，所以它被重新命名。此外，因為它是供內部使用的（不適用於使用者），所以它已從上述列表中刪除。

以下是 syncconfig 的作用：

syncconfig 將 .config 作為輸入並輸出許多其他檔案，這些檔案分為三類：

  • auto.conf ＆ tristate.conf 用於 makefile 文字處理。例如，你可以在元件的 makefile 中看到這樣的語句：obj-$(CONFIG_GENERIC_CALIBRATE_DELAY) += calibrate.o。
  • autoconf.h 用於 C 語言的原始檔。
  • include/config/ 下空的標頭檔案用於 kbuild 期間的設定依賴性跟蹤。下面會解釋。

設定完成後，我們將知道哪些檔案和程式碼片段未編譯。

kbuild

元件式構建，稱為遞回 make，是 GNU make 管理大型專案的常用方法。kbuild 是遞迴 make 的一個很好的例子。通過將原始檔劃分為不同的模組/元件，每個元件都由其自己的 makefile 管理。當你開始構建時，頂級 makefile 以正確的順序呼叫每個元件的 makefile、構建元件，並將它們收集到最終的執行程式中。

kbuild 指向到不同型別的 makefile：

  • Makefile 位於原始碼根目錄的頂級 makefile。
  • .config 是核心組態檔。
  • arch/$(ARCH)/Makefile 是架構的 makefile，它用於補充頂級 makefile。
  • scripts/Makefile.* 描述所有的 kbuild makefile 的通用規則。
  • 最後，大約有 500 個 kbuild makefile。

頂級 makefile 會將架構 makefile 包含進去，讀取 .config 檔案，下到子目錄，在 scripts/ Makefile.* 中定義的例程的幫助下，在每個元件的 makefile 上呼叫 make，構建每個中間物件，並將所有的中間物件連結為 vmlinux。核心文件 Documentation/kbuild/makefiles.txt 描述了這些 makefile 的方方面面。

作為一個例子，讓我們看看如何在 x86-64 上生成 vmlinux：

vmlinux overview

（此插圖基於 Richard Y. Steven 的部落格。有過更新，並在作者允許的情況下使用。）

進入 vmlinux 的所有 .o 檔案首先進入它們自己的 built-in.a，它通過變數KBUILD_VMLINUX_INIT、KBUILD_VMLINUX_MAIN、KBUILD_VMLINUX_LIBS 表示，然後被收集到 vmlinux 檔案中。

在下面這個簡化的 makefile 程式碼的幫助下，了解如何在 Linux 核心中實現遞回 make：

# In top Makefilevmlinux: scripts/link-vmlinux.sh $(vmlinux-deps)                +$(call if_changed,link-vmlinux)# Variable assignmentsvmlinux-deps := $(KBUILD_LDS) $(KBUILD_VMLINUX_INIT) $(KBUILD_VMLINUX_MAIN) $(KBUILD_VMLINUX_LIBS)export KBUILD_VMLINUX_INIT := $(head-y) $(init-y)export KBUILD_VMLINUX_MAIN := $(core-y) $(libs-y2) $(drivers-y) $(net-y) $(virt-y)export KBUILD_VMLINUX_LIBS := $(libs-y1)export KBUILD_LDS          := arch/$(SRCARCH)/kernel/vmlinux.ldsinit-y          := init/drivers-y       := drivers/ sound/ firmware/net-y           := net/libs-y          := lib/core-y          := usr/virt-y          := virt/# Transform to corresponding built-in.ainit-y          := $(patsubst %/, %/built-in.a, $(init-y))core-y          := $(patsubst %/, %/built-in.a, $(core-y))drivers-y       := $(patsubst %/, %/built-in.a, $(drivers-y))net-y           := $(patsubst %/, %/built-in.a, $(net-y))libs-y1         := $(patsubst %/, %/lib.a, $(libs-y))libs-y2         := $(patsubst %/, %/built-in.a, $(filter-out %.a, $(libs-y)))virt-y          := $(patsubst %/, %/built-in.a, $(virt-y))# Setup the dependency. vmlinux-deps are all intermediate objects, vmlinux-dirs# are phony targets, so every time comes to this rule, the recipe of vmlinux-dirs# will be executed. Refer "4.6 Phony Targets" of `info make`$(sort $(vmlinux-deps)): $(vmlinux-dirs) ;# Variable vmlinux-dirs is the directory part of each built-in.avmlinux-dirs    := $(patsubst %/,%,$(filter %/, $(init-y) $(init-m) \                     $(core-y) $(core-m) $(drivers-y) $(drivers-m) \                     $(net-y) $(net-m) $(libs-y) $(libs-m) $(virt-y)))# The entry of recursive make$(vmlinux-dirs):                $(Q)$(MAKE) $(build)=$@ need-builtin=1

遞回 make 的配方recipe被擴充套件開是這樣的：

make -f scripts/Makefile.build obj=init need-builtin=1

這意味著 make 將進入 scripts/Makefile.build 以繼續構建每個 built-in.a。在scripts/link-vmlinux.sh 的幫助下，vmlinux 檔案最終位於源根目錄下。

vmlinux 與 bzImage 對比

許多 Linux 核心開發人員可能不清楚 vmlinux 和 bzImage 之間的關係。例如，這是他們在 x86-64 中的關係：

原始碼根目錄下的 vmlinux 被剝離、壓縮後，放入 piggy.S，然後與其他對等物件連結到 arch/x86/boot/compressed/vmlinux。同時，在 arch/x86/boot 下生成一個名為 setup.bin 的檔案。可能有一個可選的第三個檔案，它帶有重定位資訊，具體取決於 CONFIG_X86_NEED_RELOCS 的設定。

由核心提供的稱為 build 的宿主程式將這兩個（或三個）部分構建到最終的 bzImage 檔案中。

依賴跟蹤

kbuild 跟蹤三種依賴關係：

  1. 所有必備檔案（*.c 和 *.h）
  2. 所有必備檔案中使用的 CONFIG_ 選項
  3. 用於編譯該目標的命令列依賴項

第一個很容易理解，但第二個和第三個呢？ 核心開發人員經常會看到如下程式碼：

#ifdef CONFIG_SMP__boot_cpu_id = cpu;#endif

當 CONFIG_SMP 改變時，這段程式碼應該重新編譯。編譯原始檔的命令列也很重要，因為不同的命令列可能會導致不同的目標檔案。

當 .c 檔案通過 #include 指令使用標頭檔案時，你需要編寫如下規則：

main.o: defs.h        recipe...

管理大型專案時，需要大量的這些規則；把它們全部寫下來會很乏味無聊。幸運的是，大多數現代 C 編譯器都可以通過檢視原始檔中的 #include 行來為你編寫這些規則。對於 GNU 編譯器集合（GCC），只需新增一個命令列引數：-MD depfile

# In scripts/Makefile.libc_flags        = -Wp,-MD,$(depfile) $(NOSTDINC_FLAGS) $(LINUXINCLUDE)     \                 -include $(srctree)/include/linux/compiler_types.h       \                 $(__c_flags) $(modkern_cflags)                           \                 $(basename_flags) $(modname_flags)

這將生成一個 .d 檔案，內容如下：

init_task.o: init/init_task.c include/linux/kconfig.h \    include/generated/autoconf.h include/linux/init_task.h \    include/linux/rcupdate.h include/linux/types.h \    ...

然後主程式 fixdep 通過將 depfile 檔案和命令列作為輸入來處理其他兩個依賴項，然後以 makefile 格式輸出一個 .<target>.cmd 檔案，它記錄命令列和目標的所有先決條件（包括設定）。 它看起來像這樣：

# The command line used to compile the targetcmd_init/init_task.o := gcc -Wp,-MD,init/.init_task.o.d  -nostdinc ......# The dependency filesdeps_init/init_task.o := \    $(wildcard include/config/posix/timers.h) \    $(wildcard include/config/arch/task/struct/on/stack.h) \    $(wildcard include/config/thread/info/in/task.h) \    ...    include/uapi/linux/types.h \    arch/x86/include/uapi/asm/types.h \    include/uapi/asm-generic/types.h \    ...

在遞回 make 中，.<target>.cmd 檔案將被包含，以提供所有依賴關係資訊並幫助決定是否重建目標。

這背後的秘密是 fixdep 將解析 depfile（.d 檔案），然後解析裡面的所有依賴檔案，搜尋所有 CONFIG_ 字串的文字，將它們轉換為相應的空的標頭檔案，並將它們新增到目標的先決條件。每次設定更改時，相應的空的標頭檔案也將更新，因此 kbuild 可以檢測到該更改並重建依賴於它的目標。因為還記錄了命令列，所以很容易比較最後和當前的編譯引數。

展望未來

Kconfig/kbuild 在很長一段時間內沒有什麼變化，直到新的維護者 Masahiro Yamada 於 2017 年初加入，現在 kbuild 正在再次積極開發中。如果你不久後看到與本文中的內容不同的內容，請不要感到驚訝。