IoT 邊緣叢集基於 Kubernetes Events 的告警通知實現

背景

邊緣叢集（基於 樹莓派 + K3S) 需要實現基本的告警功能。

邊緣叢集限制

1. CPU/記憶體/儲存 資源緊張，無法支撐至少需要 2GB 以上記憶體和大量儲存的基於 Prometheus 的完整監控體系方案（即使是基於 Prometheus Agent, 也無法支撐） （需要避免額外的儲存和計算資源消耗）
2. 網路條件，無法支撐監控體系，因為監控體系一般都需要每 1min 定時（或每時每刻）傳輸資料，且資料量不小；
   1. 存在 5G 收費網路的情況，且存取的目的端地址需要開通許可權，且按照流量收費，且因為 5G 網路條件，網路傳輸能力受限，且不穩定（可能會在一段時間內離線）;

關鍵需求

總結下來，關鍵需求如下：

1. 實現對邊緣叢集異常的及時告警，需要知道邊緣叢集正在發生的異常情況；
2. 網路：網路條件情況較差，網路流量少，只只能開通極少數目的端地址，可以容忍網路不穩定（一段時間內離線）的情況；
3. 資源：需要儘量避免額外的儲存和計算資源消耗

方案

綜上所訴，採用如下方案實現：

基於 Kubernetes Events 的告警通知

架構圖

技術方案規劃

1. 從 Kubernetes 的各項資源收集 Events, 如：
   1. pod
   2. node
   3. kubelet
   4. crd
   5. ...
2. 通過 kubernetes-event-exporter 元件來實現對 Kubernetes Events 的收集；
3. 只篩選 Warning 級別 Events 供告警通知（後續，條件可以進一步定義）
4. 告警通過 飛書 webhook 等通訊工具進行傳送（後續，傳送渠道可以增加）

實施步驟

手動方式：

在邊緣叢集上，執行如下操作：

1. 建立 roles

如下：

cat << _EOF_ | kubectl apply -f -
---
apiVersion: v1
kind: Namespace
metadata:
  name: monitoring
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: event-exporter-extra
rules:
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - get
      - list
      - watch
---
apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: monitoring
  name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: view
subjects:
  - kind: ServiceAccount
    namespace: monitoring
    name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter-extra
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: event-exporter-extra
subjects:
  - kind: ServiceAccount
    namespace: kube-event-export
    name: event-exporter
_EOF_

2. 建立 kubernetes-event-exporter config

如下：

cat << _EOF_ | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-cfg
  namespace: monitoring
data:
  config.yaml: |
    logLevel: error
    logFormat: json
    route:
      routes:
        - match:
            - receiver: "dump"      
        - drop:
            - type: "Normal"
          match:
            - receiver: "feishu"                     
    receivers:
      - name: "dump"
        stdout: {}
      - name: "feishu"
        webhook:
          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..."
          headers:
            Content-Type: application/json
          layout:
            msg_type: interactive
            card:
              config:
                wide_screen_mode: true
                enable_forward: true
              header:
                title:
                  tag: plain_text
                  content: XXX IoT K3S 叢集告警
                template: red
              elements:
                - tag: div
                  text: 
                    tag: lark_md
                    content: "**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}"
      
_EOF_