awk 中的欄位、記錄和變數

2019-11-25 09:03:00

這個系列的第二篇,我們會學習欄位,記錄和一些非常有用的 Awk 變數。

Awk 有好幾個變種:最早的 awk,是 1977 年 AT&T 貝爾實驗室所創。它還有一些重構版本,例如 mawknawk。在大多數 Linux 發行版中能見到的,是 GNU awk,也叫 gawk。在大多數 Linux 發行版中,awkgawk 都是指向 GNU awk 的軟連結。輸入 awk,呼叫的是同一個命令。GNU awk 使用者手冊中,能看到 awkgawk 的全部歷史。

這一系列的 介紹了 awk 命令的基本格式:

$ awk [選項] '模式 {動作}' 輸入檔案

awk 是一個命令,後面要接選項 (比如用 -F 來定義欄位分隔符)。想讓 awk 執行的部分需要寫在兩個單引號之間,至少在終端中需要這麼做。在 awk 命令中,為了進一步強調你想要執行的部分,可以用 -e 選項來突出顯示(但這不是必須的):

$ awk -F, -e '{print $2;}' colours.txtyellowbluegreen[...]

記錄和欄位

awk 將輸入資料視為一系列記錄,通常是按行分割的。換句話說,awk 將文字中的每一行視作一個記錄。每一記錄包含多個欄位。一個欄位由欄位分隔符分隔開來,欄位是記錄的一部分。

預設情況下,awk 將各種空白符,如空格、製表符、換行符等視為分隔符。值得注意的是,在 awk 中,多個空格將被視為一個分隔符。所以下面這行文字有兩個欄位:

raspberry red

這行也是:

tuxedo                  black

其他分隔符,在程式中不是這麼處理的。假設欄位分隔符是逗號,如下所示的記錄,就有三個欄位。其中一個欄位可能會是 0 個位元組(假設這一欄位中不包含隱藏字元)

a,,b

awk 程式

awk 命令的程式部分是由一系列規則組成的。通常來說,程式中每個規則占一行(儘管這不是必須的)。每個規則由一個模式,或一個或多個動作組成:

模式 { 動作 }

在一個規則中,你可以通過定義模式,來確定動作是否會在記錄中執行。模式可以是簡單的比較條件、正規表示式,甚至兩者結合等等。

這個例子中,程式只會顯示包含單詞 “raspberry” 的記錄:

$ awk '/raspberry/ { print $0 }' colours.txtraspberry red 99

如果沒有文字符合模式,該動作將會應用到所有記錄上。

並且,在一條規則只包含模式時,相當於對整個記錄執行 { print },全部列印出來。

Awk 程式本質上是資料驅動的,命令執行結果取決於資料。所以,與其他程式語言中的程式相比,它還是有些區別的。

NF 變數

每個欄位都有指定變數,但針對欄位和記錄,也存在一些特殊變數。NF 變數,能儲存 awk 在當前記錄中找到的欄位數量。其內容可在螢幕上顯示,也可用於測試。下面例子中的資料,來自上篇文章:

$ awk '{ print $0 " (" NF ")" }' colours.txtname       color  amount (3)apple      red    4 (3)banana     yellow 6 (3)[...]

awkprint 函數會接受一系列引數(可以是變數或者字串),並將它們拼接起來。這就是為什麼在這個例子裡,每行結尾處,awk 會以一個被括號括起來的整數表示欄位數量。

NR 變數

另外,除了統計每個記錄中的欄位數,awk 也統計輸入記錄數。記錄數被儲存在變數 NR 中,它的使用方法和其他變數沒有任何區別。例如,為了在每一行開頭顯示行號:

$ awk '{ print NR ": " $0 }' colours.txt1: name       color  amount2: apple      red    43: banana     yellow 64: raspberry  red    35: grape      purple 10[...]

注意,寫這個命令時可以不在 print 後的多個引數間新增空格,儘管這樣會降低可讀性:

$ awk '{print NR": "$0}' colours.txt

printf() 函數

為了讓輸出結果時格式更靈活,你可以使用 awkprintf() 函數。 它與 C、Lua、Bash 和其他語言中的 printf 相類似。它也接受以逗號分隔的格式引數。參數列需要寫在括號裡。

$ printf 格式, 專案1, 專案2, ...

格式這一引數(也叫格式符)定義了其他引數如何顯示。這一功能是用格式修飾符實現的。%s 輸出字元,%d 輸出十進位制數位。下面的 printf 語句,會在括號內顯示欄位數量:

$ awk 'printf "%s (%d)\n",$0,NF}' colours.txtname       color  amount (3)raspberry  red    4 (3)banana     yellow 6 (3)[...]

在這個例子裡,%s (%d) 確定了每一行的輸出格式,$0,NF 定義了插入 %s%d 位置的資料。注意,和 print 函數不同,在沒有明確指令時,輸出不會轉到下一行。出現跳脫字元 \n 時才會換行。

Awk 指令碼程式設計

這篇文章中出現的所有 awk 程式碼,都在 Bash 終端中執行過。面對更複雜的程式,將命令放在檔案(指令碼)中會更容易。-f FILE 選項(不要和 -F 弄混了,那個選項用於欄位分隔符),可用於指明包含可執行程式的檔案。

舉個例子,下面是一個簡單的 awk 指令碼。建立一個名為 example1.awk 的檔案,包含以下內容:

/^a/ {print "A: " $0}/^b/ {print "B: " $0}

如果一個檔案包含 awk 程式,那麼在給檔案命名時,最好寫上 .awk 的擴充套件名。 這樣命名不是強制的,但這麼做,會給檔案管理器、編輯器(和你)一個關於檔案內容的很有用的提示。

執行這一指令碼:

$ awk -f example1.awk colours.txtA: raspberry  red    4B: banana     yellow 6A: apple      green  8

一個包含 awk 命令的檔案,在最開頭一行加上釋伴 #!,就能變成可執行指令碼。建立一個名為 example2.awk 的檔案,包含以下內容:

#!/usr/bin/awk -f## 除了第一行,在其他行前顯示行號#NR > 1 {    printf "%d: %s\n",NR,$0}

可以說,指令碼中只有一行,大多數情況下沒什麼用。但在某些情況下,執行一個指令碼,比記住,然後打一條命令要容易的多。一個指令碼檔案,也提供了一個記錄命令具體作用的好機會。以 # 號開頭的行是注釋,awk 會忽略它們。

給檔案可執行許可權:

$ chmod u+x example2.awk

執行指令碼:

$ ./example2.awk colours.txt2: apple      red    42: banana     yellow 64: raspberry red    35: grape      purple 10[...]

awk 命令放在指令碼檔案中,有一個好處就是,修改和格式化輸出會更容易。在終端中,如果能用一行執行多條 awk 命令,那麼輸入多行,才能達到同樣效果,就顯得有些多餘了。

試一試

你現在已經足夠了解,awk 是如何執行指令的了。現在你應該能編寫複雜的 awk 程式了。試著編寫一個 awk 指令碼,它需要: 至少包括一個條件模式,以及多個規則。如果你想使用除 printprintf 以外的函數,可以參考線上 gawk 手冊

下面這個例子是個很好的切入點:

#!/usr/bin/awk -f##  顯示所有記錄 除了出現以下情況#  如果第一個記錄 包含 “raspberry”#  將 “red” 替換成 “pi”$1 == "raspberry" {        gsub(/red/,"pi")}{ print }

試著執行這個指令碼,看看輸出是什麼。接下來就看你自己的了。

這一系列的下一篇文章,將會介紹更多,能在更複雜(更有用!) 指令碼中使用的函數。

這篇文章改編自 Hacker Public Radio 系列,一個技術社群部落格。