Jenkins-Pipline實現原理

2023-07-27 21:00:59

Jenkins-Pipline原理

本文僅探討jenkins pipline 的原理,是流水線的一個demo版本實現,不能代表Jenkins pipline的具體實現,僅供參考。

1. Jenkins流水線介紹

Jenkinsfile流水線是Jenkins CI/CD工具中用來定義、構建和管理軟體交付流程的一種宣告式檔案。
它允許將整個軟體交付流程以程式碼的形式進行描述,從而實現對軟體交付過程的可追蹤性、可維護性和可延伸性。
Jenkinsfile使用一種基於Groovy的DSL(領域特定語言)來定義流水線,開發人員可以通過編寫Groovy程式碼來描述流水線的結構和邏輯。
簡而言之:Jenkinsfile 就是 Groovy指令碼。

2. Groovy實現DSL的基礎

Groovy是一種基於JVM的動態語言,它可以直接使用Java類和庫,也可以通過閉包和超程式設計等特性來實現DSL。

2.1 方法呼叫

在Groovy中,通常情況下需要使用括號來呼叫帶有引數的方法。但是,在一些特定的情況下,也可以省略括號來呼叫方法,並將引數作為閉包的一部分傳遞。


def greet(String name) {
    println("Hello, $name!")
}

// 使用括號呼叫方法
greet("Alice")  // 輸出: Hello, Alice!

// 省略括號,將引數作為閉包的一部分傳遞
greet "Bob"    // 輸出: Hello, Bob!

2.2 閉包

閉包可以被視為一個可呼叫的程式碼塊,它可以作為引數傳遞給方法、賦值給變數,以及作為返回值返回。

  1. 定義閉包:可以使用{}大括號來定義一個閉包,並在其中編寫程式碼塊。例如:
def closure = { param ->
    println("Hello, $param!")
}
  1. 引數傳遞:閉包可以接受零個或多個引數,並在程式碼塊中使用這些引數。例如:
def printSum = { a, b ->
    println(a + b)
}
  1. 呼叫閉包:可以通過將閉包像函數一樣進行呼叫來執行其中的程式碼塊。例如:
closure("Alice")  // 輸出: Hello, Alice!

printSum(3, 5)   // 輸出: 8
  1. 作為引數傳遞:閉包可以作為引數傳遞給其他方法,使得方法具有更高的靈活性和可重用性。例如:
def processData(data, closure) {
// 執行某些邏輯...
    closure(data)
}

processData("Hello", { input ->
    println("Received: $input")
})

2.3 閉包代理

Groovy還提供了閉包代理(Closure Delegate)機制。閉包代理允許在閉包中存取外部物件的成員變數和方法,而無需顯式地使用點操作符。
以下是一個範例:


class Person {
    String name

    void sayHello() {
        println("Hello, I'm $name")
    }
}

def person = new Person(name: "Alice")
def closure = { sayHello() }  // 使用閉包代理呼叫Person物件的sayHello方法
closure.delegate = person
closure()  // 輸出: Hello, I'm Alice


在上面的例子中,我們定義了一個名為closure的閉包,其中呼叫了外部的Person物件的sayHello()方法。
通過將閉包的delegate屬性設定為person物件,我們實現了在閉包中呼叫person.sayHello()的效果。

3. 從零實現DSL&Jenkinsfile

3.1 使用DSL編寫流水線

實現的流水線如下:

jenkinsfile.groovy

import static Dsl.pipeline

pipeline {
    agent any

    environment {
        SOME_NUMBER = 123
        SOME_STRING = "foobar"
    }

    stages {
        stage("Build") {
            steps { env ->
                sh "ls -la"
                sh(script: 'date +%Y-%m-%d', returnStdout: false)
                echo "Groovy rocks!"
                echo "env.SOME_STRING = ${env.SOME_STRING}"
            }
        }
        stage("Test") {
            steps {
                sh """ 
                    echo "Testing..." 
                    """
            }
        }
    }
}

3.2 DSL的具體實現

DSL實現程式碼如下:

Dsl.groovy


import groovy.transform.NamedParam
import groovy.transform.NamedParams
import groovy.transform.stc.ClosureParams
import groovy.transform.stc.SimpleType

import java.util.concurrent.ConcurrentHashMap
import java.util.concurrent.ConcurrentMap

import static groovy.lang.Closure.DELEGATE_FIRST
import static groovy.lang.Closure.DELEGATE_ONLY

class Dsl {

    static void pipeline(@DelegatesTo(value = PipelineDsl, strategy = DELEGATE_ONLY) final Closure closure) {
        final PipelineDsl dsl = new PipelineDsl()

        closure.delegate = dsl
        closure.resolveStrategy = DELEGATE_ONLY
        closure.call()
    }

}

class PipelineDsl {
    // 定義一個預留位置常數
    final Placeholder any = Placeholder.ANY

    // 使用 ConcurrentHashMap 建立環境變數的並行對映
    static final ConcurrentMap<String, String> env = [:] as ConcurrentHashMap

    // 定義 agent 方法
    void agent(final Placeholder any) {
        println "Running pipeline using any available agent..."
    }

    // 定義 environment 方法
    void environment(@DelegatesTo(value = Map, strategy = DELEGATE_FIRST) final Closure closure) {
        // 將閉包委託給 env 並執行閉包
        env.with(closure)
    }

    // 定義 stages 方法
    void stages(@DelegatesTo(value = StagesDsl, strategy = DELEGATE_ONLY) final Closure closure) {
        final StagesDsl dsl = new StagesDsl()

        closure.delegate = dsl
        closure.resolveStrategy = DELEGATE_ONLY
        closure.call()

        // 遍歷 stages 列表並依次執行每個 stage
        dsl.stages.each { stage ->
            stage.run()
        }
    }

    // 定義預留位置列舉類
    enum Placeholder {
        ANY
    }
}

class StagesDsl {
    // 定義 stages 列表
    protected final List<Stage> stages = []

    // 定義 stage 方法
    void stage(final String name, @DelegatesTo(value = StageDsl, strategy = DELEGATE_ONLY) final Closure closure) {
        // 將 stage 新增到 stages 列表中
        stages << new Stage(name, closure)
    }
}

class Stage {
    final String name
    final Closure closure

    // 定義 Stage 類別建構函式
    Stage(String name, Closure closure) {
        this.name = name
        this.closure = closure
    }

    // 執行 stage 的方法
    void run() {
        println "==> Running '${name}' stage..."

        final StageDsl dsl = new StageDsl()

        closure.delegate = dsl
        closure.resolveStrategy = DELEGATE_ONLY
        closure.call()
    }
}

class StageDsl {
    // 定義 steps 方法
    void steps(
            @DelegatesTo(value = Steps, strategy = DELEGATE_ONLY)
            @ClosureParams(value = SimpleType, options = ["java.util.Map"]) final Closure closure) {
        final Steps steps = new Steps()

        closure.delegate = steps
        closure.resolveStrategy = DELEGATE_ONLY
        closure.call(PipelineDsl.env)
    }
}

class Steps {
    // 定義 sh 方法
    void sh(final String script) {
            sh(script: script, returnStdout: false)
    }

    // 定義過載的 sh 方法
    Object sh(@NamedParams([
            @NamedParam(value = "script", type = String, required = true),
            @NamedParam(value = "returnStdout", type = Boolean)
    ]) final Map param) {

        // 執行 shell 指令碼,並等待執行完成
        final Process p = param.script.toString().execute()
        p.waitFor()

        println "+ ${param.script}"

        if (p.exitValue() == 0) {
            if (param.returnStdout) {
                return p.text
            }

            println p.text
        } else {
            println p.err.text
        }
    }

    // 定義 echo 方法
    void echo(final String message) {
        println "[ECHO] ${message}"
    }
}

該DSL提供了以下功能:

  • pipeline 方法用於定義整個流水線。它接受一個閉包作為引數,其中可以定義執行流水線所需的各種設定。
  • agent 方法表示使用任意可用的代理執行流水線。
  • environment 方法用於設定環境變數。它接受一個閉包作為引數,其中可以設定環境變數的鍵值對。
  • stages 方法用於定義流水線的階段。它接受一個閉包作為引數,其中可以定義流水線的各個階段。
  • stage 方法用於定義單個階段。它接受一個階段名稱和一個閉包作為引數,並將階段新增到流水線中。
  • steps 方法用於定義階段的步驟。它接受一個閉包作為引數,並將步驟委託給內部的 Steps 類處理。
  • sh 方法用於執行 shell 指令碼。它可以接受一個字串參數列示指令碼,或者一個帶有 script 和 returnStdout 鍵的對映引數。如果指令碼執行成功,則會列印指令碼的輸出;否則,會列印錯誤資訊。
  • echo 方法用於列印出一個帶有字首 [ECHO] 的訊息。

通過組合這些方法,可以使用簡潔且易讀的程式碼來定義流水線設定,並執行其中的步驟和操作。

3.3 執行流水線

jenkinsfile.groovy可以直接通過 groovy jenkinsfile.groovy 命令執行;

執行結果如下:

$ groovy jenkinsfile.groovy 

Running pipeline using any available agent...
==> Running 'Build' stage...
+ ls -la
razem 32
drwxrwxr-x   5 wololock wololock 4096 04-07 18:20 .
drwxrwxr-x. 45 wololock wololock 4096 04-04 12:47 ..
drwxrwxr-x   3 wololock wololock 4096 04-04 12:48 com
drwxrwxr-x   7 wololock wololock 4096 04-07 18:20 .git
-rw-rw-r--   1 wololock wololock   29 04-07 18:19 .gitignore
drwxrwxr-x   2 wololock wololock 4096 04-07 18:19 .idea
-rw-rw-r--   1 wololock wololock 1016 04-04 13:23 jenkinsfile.groovy
-rw-rw-r--   1 wololock wololock   23 04-07 18:20 README.md

+ date +%Y-%m-%d
2020-04-07

[ECHO] Groovy rocks!
[ECHO] env.SOME_STRING = foobar
==> Running 'Test' stage...
+ mvn -version
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-17T20:33:14+02:00)
Maven home: /home/wololock/.sdkman/candidates/maven/current
Java version: 1.8.0_232, vendor: Oracle Corporation, runtime: /home/wololock/.sdkman/candidates/java/8.0.232-open/jre
Default locale: pl_PL, platform encoding: UTF-8
OS name: "linux", version: "5.5.10-100.fc30.x86_64", arch: "amd64", family: "unix"

3.4 流水線呼叫流程分析

// 靜態匯入列pipline方法
import static Dsl.pipeline

// 呼叫pipeline方法, 傳入一個閉包; 方法呼叫可以省略() ; pipline {...} 等同於 pipeline({ ... })
pipeline { // pipeline的引數是一個閉包,該閉包被委託給PipelineDsl類處理,所以在閉包內可以直接呼叫PipelineDsl內部的方法
    
    // 呼叫PipelineDsl#agent(any)
    agent any

    // 呼叫PipelineDsl#environment(closure)
    environment {
        SOME_NUMBER = 123
        SOME_STRING = "foobar"
    }

    // 呼叫PipelineDsl#stages(closure)
    stages { // stages的引數是一個閉包,該閉包被委託給StagesDsl類處理,所以可以直接呼叫StagesDsl內部的方法
       
        
        // 呼叫StagesDsl#stage(name, closure)
        stage("Build") { // stage的引數是一個閉包,該閉包被委託給StageDsl類處理,所以可以直接呼叫StageDsl內部的方法

            // 呼叫StageDsl#steps(closure)
            steps { env ->   // steps的引數是一個閉包,該閉包被委託給Steps類處理,所以可以直接呼叫Steps內部的方法
                // 呼叫Steps#sh(script)
                sh "ls -la"
                // 呼叫Steps#sh(script, returnStdout)
                sh(script: 'date +%Y-%m-%d', returnStdout: false)
                // 呼叫Steps#echo(message)
                echo "Groovy rocks!"
                // 呼叫Steps#echo(message)
                echo "env.SOME_STRING = ${env.SOME_STRING}"
            }
        }
        
        // 省略... 
        stage("Test") {
            steps {
                sh """ 
                    echo "Testing..." 
                    """
            }
        }
    }
}

The end.

參考資料:

Groovy DSL Quickstart:
https://github.com/wololock/groovy-dsl-quickstart