『忘了再學』Shell基礎 — 27、AWK程式設計的介紹和基本使用

1、AWK介紹

（1）AWK概述

AWK是一種處理文字檔案的語言，是一個強大的文字分析工具。

AWK可以看成一門獨立的語言，它擁有語言的基本特徵，換句話說AWK可以寫出極其繁瑣和複雜的程式，AWK的語法比Shell的語法還難以接收。但絕大多數情況下，我們並不需要用AWK寫過於複雜的東西，建議能用Shell處理的需求就不用AWK來解決。

當用AWK處理需求遠要比Shell處理簡單的多的時候，我們就用AWK來解決。

AWK也是用來擷取列資訊的，它比Shell中的cut命令更先進，比如對空格作為分隔符的處理。

（2）printf格式化輸出

在學習AWK之前，我們要先學習一下printf格式化輸出命令，這個命令是AWK基本輸出中必須要用到的一個命令。

AWK的標準輸出支援print命令和printf命令，這兩個命令在AWK當中基本作用是一樣的，但是Linux命令中只支援printf命令，如下：

# 在Linux中執行print命令和printf命令

[root@192 ~]# print
# 報錯命令沒有找到
-bash: print: command not found

[root@192 ~]# printf
# 提示你命令格式寫錯了
printf: usage: printf [-v var] format [arguments]

我們可以看到Linux系統中只支援printf命令，所以我們這裡就先學習一下printf命令。

（3）printf命令說明

[root@localhost ~]# printf '輸出型別輸出格式' 輸出內容

輸出型別：
  %ns：輸出字串。n是數位指輸出幾個字元。
  %ni：輸出整數。n是數位指輸出幾個數位。
  %m.nf：輸出浮點數。m和n是數位，指輸出的總位數和小數位數。如%8.2f代表共輸出8位元數，其中2位是小數，6位是整數。

輸出格式：
  \a：輸出警告聲音。
  \b：輸出退格鍵，也就是Backspace鍵。
  \f：清除螢幕。
  \n：換行。
  \r：回車，也就是Enter鍵。
  \t：水平輸出退格鍵，也就是Tab鍵
  \v：垂直輸出退格鍵，也就是Tab鍵。

練習，使用如下文字：

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

執行printf命令：

[root@localhost tmp]# printf '%s' $(cat student.txt)

說明：printf命令後是沒有辦法直接寫引數的，也就是不能直接加檔名來讀取檔案的內容，printf命令支援的是其他命令結果的輸出，交給printf命令來處理。所以說printf命令很少單獨使用，一般都放在AWK當中來使用，這樣更加合理，否則就和上邊一樣，看起來很難受。

結果：

[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#

我們可以看到上面的結果非常的爛，他是把所有的內容一個字元緊接著一個字元的輸出，中間沒有空格或者回車。

這就是printf命令，如果不指定輸出的格式，則會把所有輸出內容連在一起輸出。其實文字的輸出本身就是這樣的，cat等文字輸出命令之所以可以按照漂亮的格式輸出，那是因為cat命令已經設定了輸出格式。

那麼為了讓printf輸出合理的格式，就需要手動自定義自己需要的格式。

printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)

說明：就是輸出一個字串（%s），後邊加上一個製表符（tab鍵）隔開（\t），這樣一共有6列，寫6個%s\t，然後每一行最後加上一個回車（\n）。

執行命令結果如下：

[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96.66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

注意：'%s\t %s\t %s\t %s\t %s\t %s\t \n'中的空格是沒有意思的，寫多少都行，只是方便自己看，printf命令，只認\n、 \t等輸出格式。

如果不想把成績當成字串輸出，而是按照整型和浮點型輸出，執行如下命令：

[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1    Tangs  88  87  86     85.55
2    Sunwk  99  98  97     96.66
3    Zhubj  77  76  75     74.44
4    Shahs  66  65  64     63.33

這個例子不是很好，但一定要把標題顧慮掉，否則會出現如下效果，標題都被變成了整型資料。

[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0    Name    0   0   0       0.00
1    Tangs   88  87  86     85.55
2    Sunwk   99  98  97     96.66
3    Zhubj   77  76  75     74.44
4    Shahs   66  65  64     63.33

2、AWK的基本使用

（1）AWK命令說明

[root@localhost ~]# awk '條件1{動作1} 條件2{動作2} ...' 檔名

條件（Pattern）：
  一般使用關係表示式作為條件。這些關係表示式非常多，具體看下面一點。
  簡單舉例：
    x>10：判斷變數x是否大於10。
    x==y：判斷變數x是否等於變數y 。
    A~B：判斷字串A中是否包含能匹配B表示式的子字串。
    A!~B：判斷字串A中是否不包含能匹配B表示式的子字串。

動作（Action）：
  格式化輸出。
  流程控制語句。

提示：先判斷條件是否成立，在進行對應動作。可以沒有條件直接寫動作，如果沒有條件，則直接執行動作。

（2）AWK命令使用

1）基本使用

使用如下文字：

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

執行命令：awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt

結果：

[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

說明：

• AWK的動作條件是需要用單引號括起來的，所以在動作條件中的printf命令中定義的輸出格式時，單引號就需要改換成雙引號了，這裡要注意。
• 沒有條件就是每一行都處理。
• AWK的主要動作就是用printf命令來輸出的。
• AWK中可以直接新增文字檔案，來獲取檔案中所需內容。

這裡在補充一下print命令和printf命令用法差不多，print命令自帶換行符，但是Linux系統不支援print命令。

# 使用`print`命令就不需要加上\n換行符了。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

2）處理分隔符是空格的情況

看磁碟情況的df命令的結果中，資料之間的分隔符是空格，用cut命令是處理不了的。

如下：

# 檢視磁碟情況
[root@localhost tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

# 獲取第二列資訊
[root@localhost tmp]# df -h | cut -f 2
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

使用AWK解決需求，獲取磁碟情況的第1列和第5列的資訊。

[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem  Use%
/dev/sda3   12%
tmpfs       0%
/dev/sda1   15%

3）綜合練習

獲取下面資訊中根分割區的佔有率12。

[root@localhost tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

執行命令：

[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12