使用rancher rke快速安裝k8s叢集
2023-11-10 15:01:10
概述
Rancher Kubernetes Engine（RKE）是一個用於部署、管理和執行Kubernetes叢集的開源工具。旨在簡化Kubernetes叢集的部署和操作。
RKE具有以下特點和功能：
簡化的部署過程
RKE提供了一個簡單的命令列介面，使您可以輕鬆地部署一個完整的Kubernetes叢集。您只需提供少量的設定資訊，RKE將自動處理底層節點的設定和組網，並在節點上安裝所需的Kubernetes元件。
可移植性和靈活性
RKE支援多種作業系統和雲平臺，包括Linux、Windows、AWS、Azure、GCP等。它可以在各種環境中執行，包括物理機、虛擬機器器和雲範例。這使得您可以在不同的基礎設施上輕鬆部署和遷移Kubernetes叢集。
安全和可靠性
RKE提供強大的安全功能，可以設定TLS加密通訊、RBAC存取控制和Pod安全策略等。它還支援節點故障檢測和自動修復，確保叢集的高可用性和穩定性。
可延伸性和高效能
RKE支援水平擴充套件，可以輕鬆地新增或刪除節點，以滿足不同負載和需求。它還提供了靈活的網路和儲存選項，以適應各種應用場景，並提供高效能的容器排程和管理。
整合和擴充套件
RKE與Rancher管理平臺緊密整合，可以通過Rancher提供的圖形介面進行叢集管理、監控和操作。此外，RKE還支援使用Helm進行應用程式的部署和管理，以及使用其他外掛和工具進行功能擴充套件。
下面介紹如何使用rancher的rke如何快速實現生產級別k8s叢集安裝。
修改主機名稱
vi /etc/hosts
172.18.1.55 master
172.18.1.58 worker01
172.18.1.59 worker02
172.18.1.60 worker03
安裝docker
$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
$ yum -y install docker-ce-23.0.1 docker-ce-cli-23.0.1
設定開啟並啟動docker
$ systemctl enable docker && systemctl start docker
新增rancher使用者
在每臺節點建立rancher使用者
$ useradd rancher
$ usermod -aG docker rancher
$ echo 123|passwd --stdin rancher
下載rke使用者端
存取https://github.com/rancher/rke/releases/tag/v1.4.9 下載rke使用者端
Linux 使用者請執行以下命令：
$ mv rke_linux-amd64 rke
執行以下命令，將 RKE 安裝包轉為可執行檔案
$ mv rke /usr/local/bin/
$ chmod +x rke
生成ssh證書
$ ssh-keygen
複製證書到叢集中所有叢集
$ ssh-copy-id rancher@master
$ ssh-copy-id rancher@worker01
$ ssh-copy-id rancher@worker02
$ ssh-copy-id rancher@worker03
驗證ssh證書是否可用
$ ssh rancher@worker01
建立RKE安裝組態檔
cluster.yml
這裡注意cluster.yml的flannel_iface屬性值是出口網路卡名稱
nodes:
- address: 172.18.1.55
port: "22"
role:
- etcd
- controlplane
user: rancher
docker_socket: /var/run/docker.sock
- address: "172.18.1.58"
port: "22"
role:
- worker
user: rancher
docker_socket: /var/run/docker.sock
- address: "172.18.1.59"
port: "22"
role:
- worker
user: rancher
docker_socket: /var/run/docker.sock
- address: "172.18.1.60"
port: "22"
role:
- worker
user: rancher
docker_socket: /var/run/docker.sock
kubernetes_version: "v1.25.13-rancher1" # 指定k8s的版本
services:
kube-api:
service_cluster_ip_range: 10.43.0.0/16
service_node_port_range: "30000-32767"
pod_security_policy: false
always_pull_images: true
secrets_encryption_config:
enabled: true
kube-controller:
cluster_cidr: 10.42.0.0/16
service_cluster_ip_range: 10.43.0.0/16
kubelet:
cluster_domain: cluster.local
cluster_dns_server: 10.43.0.10
fail_swap_on: false
generate_serving_certificate: false
kubeproxy:
extra_args:
proxy-mode: ipvs
network:
plugin: flannel
options:
flannel_iface: eth0
flannel_backend_type: vxlan
ssh_key_path: ~/.ssh/id_rsa
authorization:
mode: rbac
ignore_docker_version: true
ingress:
provider: nginx
network_mode: "hostNetwork"
cluster_name: "rkecluster"
system_images:
etcd: rancher/mirrored-coreos-etcd:v3.5.6
alpine: rancher/rke-tools:v0.1.90
nginx_proxy: rancher/rke-tools:v0.1.90
cert_downloader: rancher/rke-tools:v0.1.90
kubernetes_services_sidecar: rancher/rke-tools:v0.1.90
kubedns: rancher/mirrored-k8s-dns-kube-dns:1.22.20
dnsmasq: rancher/mirrored-k8s-dns-dnsmasq-nanny:1.22.20
kubedns_sidecar: rancher/mirrored-k8s-dns-sidecar:1.22.20
kubedns_autoscaler: rancher/mirrored-cluster-proportional-autoscaler:1.8.6
coredns: rancher/mirrored-coredns-coredns:1.9.4
coredns_autoscaler: rancher/mirrored-cluster-proportional-autoscaler:1.8.6
nodelocal: rancher/mirrored-k8s-dns-node-cache:1.22.20
kubernetes: rancher/hyperkube:v1.25.13-rancher1
flannel: rancher/mirrored-flannel-flannel:v0.21.4
flannel_cni: rancher/flannel-cni:v0.3.0-rancher8
calico_node: rancher/mirrored-calico-node:v3.25.0
calico_cni: rancher/calico-cni:v3.25.0-rancher1
calico_controllers: rancher/mirrored-calico-kube-controllers:v3.25.0
calico_ctl: rancher/mirrored-calico-ctl:v3.25.0
calico_flexvol: rancher/mirrored-calico-pod2daemon-flexvol:v3.25.0
canal_node: rancher/mirrored-calico-node:v3.25.0
canal_cni: rancher/calico-cni:v3.25.0-rancher1
canal_controllers: rancher/mirrored-calico-kube-controllers:v3.25.0
canal_flannel: rancher/mirrored-flannel-flannel:v0.21.4
canal_flexvol: rancher/mirrored-calico-pod2daemon-flexvol:v3.25.0
weave_node: weaveworks/weave-kube:2.8.1
weave_cni: weaveworks/weave-npc:2.8.1
pod_infra_container: rancher/mirrored-pause:3.7
ingress: rancher/nginx-ingress-controller:nginx-1.7.0-rancher1
ingress_backend: rancher/mirrored-nginx-ingress-controller-defaultbackend:1.5-rancher1
ingress_webhook: rancher/mirrored-ingress-nginx-kube-webhook-certgen:v20230312-helm-chart-4.5.2-28-g66a760794
metrics_server: rancher/mirrored-metrics-server:v0.6.3
windows_pod_infra_container: rancher/mirrored-pause:3.7
aci_cni_deploy_container: noiro/cnideploy:6.0.3.1.81c2369
aci_host_container: noiro/aci-containers-host:6.0.3.1.81c2369
aci_opflex_container: noiro/opflex:6.0.3.1.81c2369
aci_mcast_container: noiro/opflex:6.0.3.1.81c2369
aci_ovs_container: noiro/openvswitch:6.0.3.1.81c2369
aci_controller_container: noiro/aci-containers-controller:6.0.3.1.81c2369
aci_gbp_server_container: ""
aci_opflex_server_container: ""
執行安裝
$ rke up
kubetl安裝
下載，如果伺服器下載失敗，通過本地下載上傳到伺服器
$ curl -LO https://dl.k8s.io/release/v1.24.0/bin/linux/amd64/kubectl
安裝
$ sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl
驗證
$ kubectl version --client
建立.kube資料夾
$ mkdir ~/.kube
拷貝組態檔
$ mv kube_config_cluster.yml ~/.kube/config
k8s驗證
kubectl設定完成以後，執行以下命令進行驗證，可以看到節點狀態正常
$ kubectl get nodes
$ kubectl get pods -n kube-system
Helm 安裝
在master機器安裝helm
下載
$ wget https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
解壓
$ tar -zxvf helm-v3.7.2-linux-amd64.tar.gz
拷貝
$ sudo cp linux-amd64/helm /usr/local/bin
驗證
$ helm version
使用Helm安裝rancher
新增 Helm Chart 倉庫
$ helm repo add rancher-stable https://rancher-mirror.rancher.cn/server-charts/stable
簽名證書
create_self-signed-cert.sh 自籤指令碼
#!/bin/bash
help ()
{
echo ' ================================================================ '
echo ' --ssl-domain: 生成ssl證書需要的主域名，如不指定則預設為www.rancher.local，如果是ip存取服務，則可忽略；'
echo ' --ssl-trusted-ip: 一般ssl證書只信任域名的存取請求，有時候需要使用ip去存取server，那麼需要給ssl證書新增擴充套件IP，多個IP用逗號隔開；'
echo ' --ssl-trusted-domain: 如果想多個域名存取，則新增擴充套件域名（SSL_TRUSTED_DOMAIN）,多個擴充套件域名用逗號隔開；'
echo ' --ssl-size: ssl加密位數，預設2048；'
echo ' --ssl-cn: 國家程式碼(2個字母的代號),預設CN;'
echo ' --ca-cert-recreate: 是否重新建立 ca-cert，ca 證書預設有效期 10 年，建立的 ssl 證書有效期如果是一年需要續簽，那麼可以直接複用原來的 ca 證書，預設 false;'
echo ' 使用範例:'
echo ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
echo ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
echo ' ================================================================'
}
case "$1" in
-h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
help;
exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
case "$key" in
--ssl-domain) SSL_DOMAIN=$value ;;
--ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
--ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
--ssl-size) SSL_SIZE=$value ;;
--ssl-date) SSL_DATE=$value ;;
--ca-date) CA_DATE=$value ;;
--ssl-cn) CN=$value ;;
--ca-cert-recreate) CA_CERT_RECREATE=$value ;;
--ca-key-recreate) CA_KEY_RECREATE=$value ;;
esac
done
# CA相關設定
CA_KEY_RECREATE=${CA_KEY_RECREATE:-false}
CA_CERT_RECREATE=${CA_CERT_RECREATE:-false}
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相關設定
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 國家程式碼(2個字母的代號),預設CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m | 生成 SSL Cert | \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"
# 如果存在 ca-key， 並且需要重新建立 ca-key
if [[ -e ./${CA_KEY} ]] && [[ ${CA_KEY_RECREATE} == 'true' ]]; then
# 先備份舊 ca-key，然後重新建立 ca-key
echo -e "\033[32m ====> 1. 發現已存在 CA 私鑰，備份 "${CA_KEY}" 為 "${CA_KEY}"-bak，然後重新建立 \033[0m"
mv ${CA_KEY} "${CA_KEY}"-bak-$(date +"%Y%m%d%H%M")
openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
# 如果存在 ca-cert，因為 ca-key 重新建立，則需要重新建立 ca-cert。先備份然後重新建立 ca-cert
if [[ -e ./${CA_CERT} ]]; then
echo -e "\033[32m ====> 2. 發現已存在 CA 證書，先備份 "${CA_CERT}" 為 "${CA_CERT}"-bak，然後重新建立 \033[0m"
mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
# 如果不存在 ca-cert，直接建立 ca-cert
echo -e "\033[32m ====> 2. 生成新的 CA 證書 ${CA_CERT} \033[0m"
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
# 如果存在 ca-key，並且不需要重新建立 ca-key
elif [[ -e ./${CA_KEY} ]] && [[ ${CA_KEY_RECREATE} == 'false' ]]; then
# 存在舊 ca-key，不需要重新建立，直接複用
echo -e "\033[32m ====> 1. 發現已存在 CA 私鑰，直接複用 CA 私鑰 "${CA_KEY}" \033[0m"
# 如果存在 ca-cert，並且需要重新建立 ca-cert。先備份然後重新建立
if [[ -e ./${CA_CERT} ]] && [[ ${CA_CERT_RECREATE} == 'true' ]]; then
echo -e "\033[32m ====> 2. 發現已存在 CA 證書，先備份 "${CA_CERT}" 為 "${CA_CERT}"-bak，然後重新建立 \033[0m"
mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
# 如果存在 ca-cert，並且不需要重新建立 ca-cert，直接複用
elif [[ -e ./${CA_CERT} ]] && [[ ${CA_CERT_RECREATE} == 'false' ]]; then
echo -e "\033[32m ====> 2. 發現已存在 CA 證書，直接複用 CA 證書 "${CA_CERT}" \033[0m"
else
# 如果不存在 ca-cert ，直接建立 ca-cert
echo -e "\033[32m ====> 2. 生成新的 CA 證書 ${CA_CERT} \033[0m"
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
# 如果不存在 ca-key
else
# ca-key 不存在，直接生成
echo -e "\033[32m ====> 1. 生成新的 CA 私鑰 ${CA_KEY} \033[0m"
openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
# 如果存在舊的 ca-cert，先做備份，然後重新生成 ca-cert
if [[ -e ./${CA_CERT} ]]; then
echo -e "\033[32m ====> 2. 發現已存在 CA 證書，先備份 "${CA_CERT}" 為 "${CA_CERT}"-bak，然後重新建立 \033[0m"
mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
# 不存在舊的 ca-cert，直接生成 ca-cert
echo -e "\033[32m ====> 2. 生成新的 CA 證書 ${CA_CERT} \033[0m"
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
fi
echo -e "\033[32m ====> 3. 生成 Openssl 組態檔 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; then
cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
IFS=","
dns=(${SSL_TRUSTED_DOMAIN})
dns+=(${SSL_DOMAIN})
for i in "${!dns[@]}"; do
echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
done
if [[ -n ${SSL_TRUSTED_IP} ]]; then
ip=(${SSL_TRUSTED_IP})
for i in "${!ip[@]}"; do
echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
done
fi
fi
echo -e "\033[32m ====> 4. 生成服務 SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "\033[32m ====> 5. 生成服務 SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "\033[32m ====> 6. 生成服務 SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
-CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
-days ${SSL_DATE} -extensions v3_req \
-extfile ${SSL_CONFIG}
echo -e "\033[32m ====> 7. 證書製作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以 YAML 格式輸出結果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/ /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/ /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/ /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/ /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/ /'
echo
echo -e "\033[32m ====> 9. 附加 CA 證書到 Cert 檔案 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/ /'
echo
echo -e "\033[32m ====> 10. 重新命名服務證書 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt
執行指令碼生成簽名證書
$ ./create_self-signed-cert.sh --ssl-domain=test-rancher.com --ssl-size=2048 --ssl-date=3650
安裝rancher
$ kubectl create namespace cattle-system
#建立secret tls-rancher-ingress
$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=./cert/tls.crt --key=./cert/tls.key
# 建立secret tls-ca
$ kubectl -n cattle-system create secret generic tls-ca --from-file=./cert/cacerts.pem
# 安裝rancher
$ helm install rancher rancher-stable/rancher \
--version=2.7.6 \
--namespace cattle-system \
--set hostname=test-rancher.com \
--set ingress.tls.source=secret \
--set privateCA=true
安裝完成以後執行檢視ip，並進行繫結設定
$ kubectl get ingress -n cattle-system
rancher設定
在本地設定hosts或者用nginx做轉發設定，這裡用hosts解析設定
$ 172.18.1.58 test.rancher.com
存取rancher
如果按照上面執行的命令報錯，那麼執行生成一個新密碼
$ kubectl -n cattle-system exec $(kubectl -n cattle-system get pods -l app=rancher | grep '1/1' | head -1 | awk '{ print $1 }') -- reset-password
登入成功更改密碼
istio安裝
安裝完成會出現如下選項
在終端其他機器驗證埠是否打通
kubectl get svc -n istio-system
由上圖得知，80對映的埠為31380 ，443對映埠為31390， 那麼在slb設定轉發規則時，轉發到以上埠即可，IP為k8s的worker的ip