從原始碼構建docker-ce

2022-12-19 15:00:15

準備環境

準備一臺Linux主機,並在上面安裝好docker-ce,安裝好make,git就可以開始編譯工作了。對,就是如此簡單,可能你會對此感到互斥或為啥要裝docker,我不是準備編譯這個玩意麼,為啥不裝go,docker不是用go開發的麼? 這些疑問會在後面的步驟中解答。

# docker-ce 安裝參考
# FROM: https://developer.aliyun.com/article/110806
# Ubuntu 14.04 16.04 (使用apt-get進行安裝)
# step 1: 安裝必要的一些系統工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安裝GPG證書
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 寫入軟體源資訊
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新並安裝 Docker-CE
sudo apt-get -y update
sudo apt-get -y install docker-ce

注意:其他注意事項在下面的註釋中
# 安裝指定版本的Docker-CE:
# Step 1: 查詢Docker-CE的版本:
# apt-cache madison docker-ce
#   docker-ce | 17.03.1~ce-0~ubuntu-xenial | http://mirrors.aliyun.com/docker-ce/linux/ubuntu xenial/stable amd64 Packages
#   docker-ce | 17.03.0~ce-0~ubuntu-xenial | http://mirrors.aliyun.com/docker-ce/linux/ubuntu xenial/stable amd64 Packages
# Step 2: 安裝指定版本的Docker-CE: (VERSION 例如上面的 17.03.1~ce-0~ubuntu-xenial)
# sudo apt-get -y install docker-ce=[VERSION]

# 通過經典網路、VPC網路內網安裝時,用以下命令替換Step 2、Step 3中的命令
# 經典網路:
# curl -fsSL http://mirrors.aliyuncs.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyuncs.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# VPC網路:
# curl -fsSL http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# sudo add-apt-repository "deb [arch=amd64] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# CentOS 7 (使用yum進行安裝)
# step 1: 安裝必要的一些系統工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 新增軟體源資訊
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# Step 3: 更新並安裝 Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4: 開啟Docker服務
sudo service docker start

注意:其他注意事項在下面的註釋中
# 官方軟體源預設啟用了最新的軟體,您可以通過編輯軟體源的方式獲取各個版本的軟體包。例如官方並沒有將測試版本的軟體源置為可用,你可以通過以下方式開啟。同理可以開啟各種測試版本等。
# vim /etc/yum.repos.d/docker-ce.repo
#   將 [docker-ce-test] 下方的 enabled=0 修改為 enabled=1
#
# 安裝指定版本的Docker-CE:
# Step 1: 查詢Docker-CE的版本:
# yum list docker-ce.x86_64 --showduplicates | sort -r
#   Loading mirror speeds from cached hostfile
#   Loaded plugins: branch, fastestmirror, langpacks
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
#   docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
#   Available Packages
# Step2 : 安裝指定版本的Docker-CE: (VERSION 例如上面的 17.03.0.ce.1-1.el7.centos)
# sudo yum -y install docker-ce-[VERSION]
# 注意:在某些版本之後,docker-ce安裝出現了其他依賴包,如果安裝失敗的話請關注錯誤資訊。例如 docker-ce 17.03 之後,需要先安裝 docker-ce-selinux。
# yum list docker-ce-selinux- --showduplicates | sort -r
# sudo yum -y install docker-ce-selinux-[VERSION]

# 通過經典網路、VPC網路內網安裝時,用以下命令替換Step 2中的命令
# 經典網路:
# sudo yum-config-manager --add-repo http://mirrors.aliyuncs.com/docker-ce/linux/centos/docker-ce.repo
# VPC網路:
# sudo yum-config-manager --add-repo http://mirrors.could.aliyuncs.com/docker-ce/linux/centos/docker-ce.repo
# 安裝其他工具, 以centos7為例子
yum install -y make git

獲取原始碼

git clone https://github.com/moby/moby.git

其實如果你有對docker二次開發的需求了,我這邊也不用再多費口舌在moby這個奇怪的專案名稱上
其實就個人而言對docker改名這件事也是頗有微詞的,docker公司願意開源docker-ce固然是好事,但是直接換個名稱明擺著是想把docker早期創造出來的名聲都讓公司的付費產品「docker」
上,而不是所謂的moby(docker-ce)。

編譯前的準備工作

如果你工作網路環境足夠優秀(可以穩定的存取到dockerhub和各種作業系統的源)可以跳過這一小節,肉身在國外的一般沒有這種煩惱。而對於大部分國內的開發者則需要通過代理完成這個開發環境的構建,一下的步驟僅供參考。

新增dockerd的代理

docker的映象拖取工作是由dockerd完成的(而不是你平常使用的docker命令列工具),而dockerd一般掛在systemd的程序下(如果有老哥頭鐵從命令列執行dockerd那麼當我沒說,這樣也能讀到代理的環境變數)。如果要為dockerd新增代理的話可以參考如下操作

# 修改為你自己的http代理地址
cat > /etc/systemd/system/docker.service.d/http-proxy.conf << EOF
[Service]
Environment="HTTP_PROXY=http://192.168.144.1:10811"
Environment="HTTPS_PROXY=http://192.168.144.1:10811"
EOF

systemctl daemon-realod
systemctl restart docker

到這一步只是為映象的拖取操作新增了代理,但是在開發環境中資源的拖取問題還是沒有辦法解決,這點我們稍微修改Makefile可以處理,參考如下操作

1. 在Makefile檔案頭部增加"include .env"
2. Makefile同目錄建立.env檔案並寫入你的環境變數,參考如下
BUILD_PROXY := --build-arg "http_proxy=http://192.168.144.1:10811" --build-arg "https_proxy=http://192.168.144.1:10811"
3. 追加引數到指定的構建引數變數,修改Makefile, 在BUILD_OPTS := *後面的一行增加
BUILD_OPTS += $(BUILD_PROXY)

開始編譯

ntpdate ntp1.aliyun.com # 同步時間,如果時間誤差過大會導致部分源依賴獲取失效,非必須
make BIND_DIR=. shell

構建過程由於或需要拖取映象和資源耗時一般比較長(即使在網路條件較好的情況下),一般要10分鐘左右。
如果構建成功你回進入如下的一個容器內終端

root@3cede98051a6:/go/src/github.com/docker/docker# 

這個便是makefile通過dockerfile為你構建的docker-ce的編譯環境,這個環境中你開發和偵錯的工具應有盡有,如你還有特殊的需求可以通過修改dockerfile重新構建(別擔心,由於之前構建的快取檔案,你第二次構建只會構建新增部分,不會花太多的時間),專案的根目錄掛載到主機目錄,所以你在此路徑下構建出的二進位制檔案也會寫入到宿主機。
接下來我們開始編譯

hack/make.sh binary

編譯完成

root@3cede98051a6:/go/src/github.com/docker/docker# hack/make.sh binary

Removing bundles/

---> Making bundle: binary (in bundles/binary)
Building: bundles/binary-daemon/dockerd
GOOS="" GOARCH="" GOARM=""
Created binary: bundles/binary-daemon/dockerd
Copying nested executables into bundles/binary-daemon
Building: bundles/binary-daemon/docker-proxy
GOOS="" GOARCH="" GOARM=""
Created binary: bundles/binary-daemon/docker-proxy

root@3cede98051a6:/go/src/github.com/docker/docker# 

安裝測試

# 還是在容器內
make install

啟動測試

/usr/local/bin/dockerd -D

你也可以在容器內下載映象,啟動容器

# 在宿主機另開一個終端,並進入容器
[root@localhost moby]# docker ps
CONTAINER ID   IMAGE                      COMMAND            CREATED         STATUS         PORTS                                                                                            NAMES
3cede98051a6   docker-dev                 "hack/dind bash"   8 minutes ago   Up 8 minutes                                                                                                    condescending_swanson
dae301c0f728   yandex/clickhouse-server   "/entrypoint.sh"   33 hours ago    Up 33 hours    0.0.0.0:8123->8123/tcp, :::8123->8123/tcp, 0.0.0.0:9000->9000/tcp, :::9000->9000/tcp, 9009/tcp   ch-server
[root@localhost moby]# docker exec -it 3ced /bin/bash
root@3cede98051a6:/go/src/github.com/docker/docker#
# 下載映象,啟動容器
root@3cede98051a6:/go/src/github.com/docker/docker# docker pull centos:7
7: Pulling from library/centos
Digest: sha256:be65f488b7764ad3638f236b7b515b3678369a5124c47b8d32916d6487418ea4
Status: Image is up to date for centos:7
root@3cede98051a6:/go/src/github.com/docker/docker# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              7                   eeb6ee3f44bd        15 months ago       204MB
root@3cede98051a6:/go/src/github.com/docker/docker# docker run --rm -it eeb /bin/bash
[root@26c12cba6431 /]# exit
exit

使用Delve偵錯

都從原始碼構建了,總不可能單純奔著純安裝去的吧,多少是想對docker做點簡單的客製化化,這裡就可以使用Delve來偵錯我們編譯出來的dockerd二進位制程式了。

dlv /usr/local/bin/dockerd -- -D

哎,咋報錯了

2022-12-14T09:10:43Z error layer=debugger error loading binary "/usr/local/bin/dockerd": could not parse .eh_frame section: pointer encoding not supported 0x9b at 0x3150
could not launch process: could not parse .eh_frame section: pointer encoding not supported 0x9b at 0x3150

這個報錯是由於預設的hack/make.sh中的這一段(我所編譯的版本在105)

IAMSTATIC='true'
if [ -z "$DOCKER_DEBUG" ]; then
	LDFLAGS='-w'
fi

在編譯時加了-w引數刪除了偵錯資訊,所以在編譯時新增引數或者寫到環境變數裡就行啦

# 在容器建立時新增debug引數
DOCKER_DEBUG=1 make BIND_DIR=. shell
# 在編譯時新增引數
DOCKER_DEBUG=1 hack/make.sh binary

以上兩種方法都可以,之後就可以使用dlv來偵錯docekrd了

root@f42403397fa5:/go/src/github.com/docker/docker# dlv exec --check-go-version=false /usr/local/bin/dockerd -- -D
WARNING: undefined behavior - version of Delve is too old for Go version 1.19.4 (maximum supported version 1.18)
Type 'help' for list of commands.
(dlv) 

至於為什麼加上 --check-go-version=false 這個引數,如果你是使用開發中的分支,docker的開發者可能忽略了更新dlv的版本,導致dlv的版本有那麼一絲落後於go的版本。如果你要解決這個問題可以通過修改Dockerfile中的 Delve映象拖取的版本,像是如下這樣,把AELVE_VERSION修改為1.9.1即可。

ARG DELVE_VERSION=v1.8.1
# Delve on Linux is currently only supported on amd64 and arm64;
# https://github.com/go-delve/delve/blob/v1.8.1/pkg/proc/native/support_sentinel.go#L1-L6
RUN --mount=type=cache,target=/root/.cache/go-build \
    --mount=type=cache,target=/go/pkg/mod \
        case $(dpkg --print-architecture) in \
            amd64|arm64) \
                GOBIN=/build/ GO111MODULE=on go install "github.com/go-delve/delve/cmd/dlv@${DELVE_VERSION}" \
                && /build/dlv --help \
                ;; \
            *) \
                mkdir -p /build/ \
                ;; \
        esac

至於delve偵錯工具如何使用就不在本文裡細述,可通過help的方式知道如何使用,類似於gdb,上手十分的簡單。

參考

https://github.com/moby/moby/tree/master/docs/contributing
https://github.com/moby/moby/blob/master/docs/contributing/debug.md
https://github.com/moby/moby/blob/master/docs/contributing/set-up-dev-env.md