這個系列的第二篇,我們會學習欄位,記錄和一些非常有用的 Awk 變數。
Awk 有好幾個變種:最早的 awk
,是 1977 年 AT&T 貝爾實驗室所創。它還有一些重構版本,例如 mawk
、nawk
。在大多數 Linux 發行版中能見到的,是 GNU awk,也叫 gawk
。在大多數 Linux 發行版中,awk
和 gawk
都是指向 GNU awk 的軟連結。輸入 awk
,呼叫的是同一個命令。GNU awk 使用者手冊中,能看到 awk
和 gawk
的全部歷史。
這一系列的 介紹了 awk
命令的基本格式:
$ awk [選項] '模式 {動作}' 輸入檔案
awk
是一個命令,後面要接選項 (比如用 -F
來定義欄位分隔符)。想讓 awk
執行的部分需要寫在兩個單引號之間,至少在終端中需要這麼做。在 awk
命令中,為了進一步強調你想要執行的部分,可以用 -e
選項來突出顯示(但這不是必須的):
$ awk -F, -e '{print $2;}' colours.txtyellowbluegreen[...]
awk
將輸入資料視為一系列記錄,通常是按行分割的。換句話說,awk
將文字中的每一行視作一個記錄。每一記錄包含多個欄位。一個欄位由欄位分隔符分隔開來,欄位是記錄的一部分。
預設情況下,awk
將各種空白符,如空格、製表符、換行符等視為分隔符。值得注意的是,在 awk
中,多個空格將被視為一個分隔符。所以下面這行文字有兩個欄位:
raspberry red
這行也是:
tuxedo black
其他分隔符,在程式中不是這麼處理的。假設欄位分隔符是逗號,如下所示的記錄,就有三個欄位。其中一個欄位可能會是 0 個位元組(假設這一欄位中不包含隱藏字元)
a,,b
awk
命令的程式部分是由一系列規則組成的。通常來說,程式中每個規則占一行(儘管這不是必須的)。每個規則由一個模式,或一個或多個動作組成:
模式 { 動作 }
在一個規則中,你可以通過定義模式,來確定動作是否會在記錄中執行。模式可以是簡單的比較條件、正規表示式,甚至兩者結合等等。
這個例子中,程式只會顯示包含單詞 “raspberry” 的記錄:
$ awk '/raspberry/ { print $0 }' colours.txtraspberry red 99
如果沒有文字符合模式,該動作將會應用到所有記錄上。
並且,在一條規則只包含模式時,相當於對整個記錄執行 { print }
,全部列印出來。
Awk 程式本質上是資料驅動的,命令執行結果取決於資料。所以,與其他程式語言中的程式相比,它還是有些區別的。
每個欄位都有指定變數,但針對欄位和記錄,也存在一些特殊變數。NF
變數,能儲存 awk
在當前記錄中找到的欄位數量。其內容可在螢幕上顯示,也可用於測試。下面例子中的資料,來自上篇文章:
$ awk '{ print $0 " (" NF ")" }' colours.txtname color amount (3)apple red 4 (3)banana yellow 6 (3)[...]
awk
的 print
函數會接受一系列引數(可以是變數或者字串),並將它們拼接起來。這就是為什麼在這個例子裡,每行結尾處,awk
會以一個被括號括起來的整數表示欄位數量。
另外,除了統計每個記錄中的欄位數,awk
也統計輸入記錄數。記錄數被儲存在變數 NR
中,它的使用方法和其他變數沒有任何區別。例如,為了在每一行開頭顯示行號:
$ awk '{ print NR ": " $0 }' colours.txt1: name color amount2: apple red 43: banana yellow 64: raspberry red 35: grape purple 10[...]
注意,寫這個命令時可以不在 print
後的多個引數間新增空格,儘管這樣會降低可讀性:
$ awk '{print NR": "$0}' colours.txt
為了讓輸出結果時格式更靈活,你可以使用 awk
的 printf()
函數。 它與 C、Lua、Bash 和其他語言中的 printf
相類似。它也接受以逗號分隔的格式引數。參數列需要寫在括號裡。
$ printf 格式, 專案1, 專案2, ...
格式這一引數(也叫格式符)定義了其他引數如何顯示。這一功能是用格式修飾符實現的。%s
輸出字元,%d
輸出十進位制數位。下面的 printf
語句,會在括號內顯示欄位數量:
$ awk 'printf "%s (%d)\n",$0,NF}' colours.txtname color amount (3)raspberry red 4 (3)banana yellow 6 (3)[...]
在這個例子裡,%s (%d)
確定了每一行的輸出格式,$0,NF
定義了插入 %s
和 %d
位置的資料。注意,和 print
函數不同,在沒有明確指令時,輸出不會轉到下一行。出現跳脫字元 \n
時才會換行。
這篇文章中出現的所有 awk
程式碼,都在 Bash 終端中執行過。面對更複雜的程式,將命令放在檔案(指令碼)中會更容易。-f FILE
選項(不要和 -F
弄混了,那個選項用於欄位分隔符),可用於指明包含可執行程式的檔案。
舉個例子,下面是一個簡單的 awk 指令碼。建立一個名為 example1.awk
的檔案,包含以下內容:
/^a/ {print "A: " $0}/^b/ {print "B: " $0}
如果一個檔案包含 awk
程式,那麼在給檔案命名時,最好寫上 .awk
的擴充套件名。 這樣命名不是強制的,但這麼做,會給檔案管理器、編輯器(和你)一個關於檔案內容的很有用的提示。
執行這一指令碼:
$ awk -f example1.awk colours.txtA: raspberry red 4B: banana yellow 6A: apple green 8
一個包含 awk
命令的檔案,在最開頭一行加上釋伴 #!
,就能變成可執行指令碼。建立一個名為 example2.awk
的檔案,包含以下內容:
#!/usr/bin/awk -f## 除了第一行,在其他行前顯示行號#NR > 1 { printf "%d: %s\n",NR,$0}
可以說,指令碼中只有一行,大多數情況下沒什麼用。但在某些情況下,執行一個指令碼,比記住,然後打一條命令要容易的多。一個指令碼檔案,也提供了一個記錄命令具體作用的好機會。以 #
號開頭的行是注釋,awk
會忽略它們。
給檔案可執行許可權:
$ chmod u+x example2.awk
執行指令碼:
$ ./example2.awk colours.txt2: apple red 42: banana yellow 64: raspberry red 35: grape purple 10[...]
將 awk
命令放在指令碼檔案中,有一個好處就是,修改和格式化輸出會更容易。在終端中,如果能用一行執行多條 awk
命令,那麼輸入多行,才能達到同樣效果,就顯得有些多餘了。
你現在已經足夠了解,awk
是如何執行指令的了。現在你應該能編寫複雜的 awk
程式了。試著編寫一個 awk 指令碼,它需要: 至少包括一個條件模式,以及多個規則。如果你想使用除 print
和 printf
以外的函數,可以參考線上 gawk 手冊。
下面這個例子是個很好的切入點:
#!/usr/bin/awk -f## 顯示所有記錄 除了出現以下情況# 如果第一個記錄 包含 “raspberry”# 將 “red” 替換成 “pi”$1 == "raspberry" { gsub(/red/,"pi")}{ print }
試著執行這個指令碼,看看輸出是什麼。接下來就看你自己的了。
這一系列的下一篇文章,將會介紹更多,能在更複雜(更有用!) 指令碼中使用的函數。
這篇文章改編自 Hacker Public Radio 系列,一個技術社群部落格。