shell 中匹配正則 字串處理

2020-08-14 19:09:34

很實用,建議收藏

shell裡一個正則表達式就是由普通字元(例如字元 a 到 z)以及特殊字元(稱爲元字元)組成的文字模式。該模式描述在查詢文字主體時待匹配的一個或多個字串。正則表達式作爲一個模板,將某個字元模式與所搜尋的字串進行匹配。
/
將下一個字元標記爲一個特殊字元、或一個原義字元、或一個 後向參照、或一個八進制跳脫符。例如,‘n’ 匹配字元 「n」。’/n’ 匹配一個換行符。序列 ‘//’ 匹配 「/」 而 「/(」 則匹配 「(」。
^
匹配輸入字串的開始位置。
$
匹配輸入字串的結束位置。
*
匹配前面的子表達式零次或多次。例如,zo* 能匹配 「z」 以及 「zoo」。 * 等價於{0,}。
+
匹配前面的子表達式一次或多次。例如,‘zo+’ 能匹配 「zo」 以及 「zoo」,但不能匹配 「z」。+ 等價於 {1,}。
?
匹配前面的子表達式零次或一次。例如,「do(es)?」 可以匹配 「do」 或 「does」 中的"do" 。? 等價於 {0,1}。
{n}
n 是一個非負整數。匹配確定的 n 次。例如,‘o{2}’ 不能匹配 「Bob」 中的 ‘o’,但是能匹配 「food」 中的兩個 o。
{n,}
n 是一個非負整數。至少匹配n 次。例如,‘o{2,}’ 不能匹配 「Bob」 中的 ‘o’,但能匹配 「foooood」 中的所有 o。‘o{1,}’ 等價於 ‘o+’。‘o{0,}’ 則等價於 ‘o*’。
{n,m}
m 和 n 均爲非負整數,其中n <= m。最少匹配 n 次且最多匹配 m 次。 「o{1,3}」 將匹配 「fooooood」 中的前三個 o。‘o{0,1}’ 等價於 ‘o?’。請注意在逗號和兩個數之間不能有空格。
?
當該字元緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 後面時,匹配模式是非貪婪的。非貪婪模式儘可能少的匹配所搜尋的字串,而預設的貪婪模式則儘可能多的匹配所搜尋的字串。例如,對於字串 「oooo」,‘o+?’ 將匹配單個 「o」,而 ‘o+’ 將匹配所有 ‘o’。
.
匹配除 「/n」 之外的任何單個字元。要匹配包括 ‘/n’ 在內的任何字元,請使用象 ‘[./n]’ 的模式。
(pattern)
匹配pattern 並獲取這一匹配。所獲取的匹配可以從產生的 Matches 集合得到,在VBScript 中使用 SubMatches 集合,在Visual Basic Scripting Edition 中則使用 $0…$9 屬性。要匹配圓括號字元,請使用 ‘/(’ 或 ‘/)’。
(?:pattern)
匹配 pattern 但不獲取匹配結果,也就是說這是一個非獲取匹配,不進行儲存供以後使用。這在使用 「或」 字元 (|) 來組合一個模式的各個部分是很有用。例如, ‘industr(?:y|ies) 就是一個比 ‘industry|industries’ 更簡略的表達式。
(?=pattern)
正向預查,在任何匹配 pattern 的字串開始處匹配查詢字串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如, ‘Windows (?=95|98|NT|2000)’ 能匹配 「Windows 2000」 中的 「Windows」 ,但不能匹配 「Windows 3.1」 中的 「Windows」。預查不消耗字元,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜尋,而不是從包含預查的字元之後開始。
(?!pattern)
負向預查,在任何不匹配Negative lookahead matches the search string at any point where a string not matching pattern 的字串開始處匹配查詢字串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如’Windows (?!95|98|NT|2000)’ 能匹配 「Windows 3.1」 中的 「Windows」,但不能匹配 「Windows 2000」 中的 「Windows」。預查不消耗字元,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜尋,而不是從包含預查的字元之後開始。

x|y
匹配 x 或 y。例如,‘z|food’ 能匹配 「z」 或 「food」。’(z|f)ood’ 則匹配 「zood」 或 「food」。
[xyz]
字元集合。匹配所包含的任意一個字元。例如, ‘[abc]’ 可以匹配 「plain」 中的 ‘a’。
[^xyz]
負值字元集合。匹配未包含的任意字元。例如, ‘[^abc]’ 可以匹配 「plain」 中的’p’。
[a-z]
字元範圍。匹配指定範圍內的任意字元。例如,’[a-z]’ 可以匹配 ‘a’ 到 ‘z’ 範圍內的任意小寫字母字元。
[^a-z]
負值字元範圍。匹配任何不在指定範圍內的任意字元。例如,’[^a-z]’ 可以匹配任何不在 ‘a’ 到 ‘z’ 範圍內的任意字元。
/b
匹配一個單詞邊界,也就是指單詞和空格間的位置。例如, ‘er/b’ 可以匹配"never" 中的 ‘er’,但不能匹配 「verb」 中的 ‘er’。
/B
匹配非單詞邊界。‘er/B’ 能匹配 「verb」 中的 ‘er’,但不能匹配 「never」 中的 ‘er’。
/cx
匹配由x指明的控制字元。例如, /cM 匹配一個 Control-M 或回車符。 x 的值必須爲 A-Z 或 a-z 之一。否則,將 c 視爲一個原義的 ‘c’ 字元。
/d
匹配一個數字字元。等價於 [0-9]。
/D
匹配一個非數位字元。等價於 [^0-9]。
/f
匹配一個換頁符。等價於 /x0c 和 /cL。
/n
匹配一個換行符。等價於 /x0a 和 /cJ。
/r
匹配一個回車符。等價於 /x0d 和 /cM。
/s
匹配任何空白字元,包括空格、製表符、換頁符等等。等價於 [ /f/n/r/t/v]。
/S
匹配任何非空白字元。等價於 [^ /f/n/r/t/v]。
/t
匹配一個製表符。等價於 /x09 和 /cI。
/v
匹配一個垂直製表符。等價於 /x0b 和 /cK。
/w
匹配包括下劃線的任何單詞字元。等價於’[A-Za-z0-9_]’。
/W
匹配任何非單詞字元。等價於 ‘[^A-Za-z0-9_]’。
/xn
匹配 n,其中 n 爲十六進制跳脫值。十六進制跳脫值必須爲確定的兩個數位長。例如, ‘/x41’ 匹配 「A」。’/x041’ 則等價於 ‘/x04’ & 「1」。正則表達式中可以使用 ASCII 編碼。.
/num
匹配 num,其中 num 是一個正整數。對所獲取的匹配的參照。例如,’(.)/1’ 匹配兩個連續的相同字元。
/n
標識一個八進制跳脫值或一個後向參照。如果 /n 之前至少 n 個獲取的子表達式,則 n 爲後向參照。否則,如果 n 爲八進制數位 (0-7),則 n 爲一個八進制跳脫值。
/nm
標識一個八進制跳脫值或一個後向參照。如果 /nm 之前至少有is preceded by at least nm 個獲取得子表達式,則 nm 爲後向參照。如果 /nm 之前至少有 n 個獲取,則 n 爲一個後跟文字 m 的後向參照。如果前面的條件都不滿足,若 n 和 m 均爲八進制數位 (0-7),則 /nm 將匹配八進制跳脫值 nm。
/nml
如果 n 爲八進制數位 (0-3),且 m 和 l 均爲八進制數位 (0-7),則匹配八進制跳脫值 nml。
/un
匹配 n,其中 n 是一個用四個十六進制數位表示的 Unicode 字元。例如, /u00A9 匹配版權符號 (?)。

Grep正則表達式

要用好grep這個工具,其實就是要寫好正則表達式,所以這裏不對grep的所有功能進行範例講解,只列幾個例子,講解一個正則表達式的寫法。
$ ls -l | grep ‘^a’
通過管道過濾ls -l輸出的內容,只顯示以a開頭的行。
$ grep ‘test’ d*
顯示所有以d開頭的檔案中包含test的行。
$ grep ‘test’ aa bb cc
顯示在aa,bb,cc檔案中匹配test的行。
$ grep ‘[a-z]/{5/}’ aa
顯示所有包含每個字串至少有5個連續小寫字元的字串的行。
$ grep 'w/(es/)t./1’ aa
如果west被匹配,則es就被儲存到記憶體中,並標記爲1,然後搜尋任意個字元(.
),這些字元後面緊跟着另外一個es(/1),找到就顯示該行。如果用egrep或grep -E,就不用"/"號進行跳脫,直接寫成’w(es)t.*/1’就可以了。

grep正則表達式元字元集(基本集)
^
錨定行的開始 如:’^grep’匹配所有以grep開頭的行。
$
錨定行的結束 如:‘grep$‘匹配所有以grep結尾的行。
.
匹配一個非換行符的字元 如:‘gr.p’匹配gr後接一個任意字元,然後是p。
*
匹配零個或多個先前字元 如:’*grep’匹配所有一個或多個空格後緊跟grep的行。 .*一起用代表任意字元。
[]
匹配一個指定範圍內的字元,如’[Gg]rep’匹配Grep和grep。
[^]
匹配一個不在指定範圍內的字元,如:’[^A-FH-Z]rep’匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。
/(…/)
標記匹配字元,如’/(love/)’,love被標記爲1。
/<
錨定單詞的開始,如:’/
/>
錨定單詞的結束,如’grep/>'匹配包含以grep結尾的單詞的行。

x/{m/}
重複字元x,m次,如:'0/{5/}'匹配包含5個o的行。

x/{m,/}
重複字元x,至少m次,如:'o/{5,/}'匹配至少有5個o的行。

x/{m,n/}
重複字元x,至少m次,不多於n次,如:'o/{5,10/}'匹配5–10個o的行。
/w
匹配文字和數位字元,也就是[A-Za-z0-9],如:'G/w*p’匹配以G後跟零個或多個文字或數位字元,然後是p。
/W
/w的反置形式,匹配一個或多個非單詞字元,如點號句號等。
/b
單詞鎖定符,如: '/bgrepb/'只匹配grep。

Shell字串處理

  1. 構造字串
    直接構造
    STR_ZERO=hello
    STR_FIRST=「i am a string」
    STR_SECOND=‘success’
    重複多次
    #repeat the first parm($1) by $2 times
    strRepeat()
    {
    local x=2if["2 if [ "x" == 「」 ]; then
    x=0
    fi
    local STR_TEMP=""
    while [ xge1];doSTRTEMP=printf"x -ge 1 ]; do STR_TEMP=`printf "%s%s" "STR_TEMP" "$1"x=expr $x - 1done echo $STR_TEMP } 舉例: STR_REPEAT=strRepeat 「$USER_NAME」 3`
    echo 「repeat = $STR_REPEAT」
  2. 賦值與拷貝
    直接賦值
    與構造字串一樣
    USER_NAME=terry
    從變數賦值
    ALIASE_NAME=$USER_NAME
  3. 聯接
    直接聯接兩個字串
    STR_TEMP=printf "%s%s" "$STR_ZERO" "$USER_NAME"
    使用printf可以進行更復雜的聯接
  4. 求長
    求字元數(char)
    COUNT_CHAR=echo "$STR_FIRST" | wc -m
    echo COUNTCHAR(byte)COUNTBYTE=echo"COUNT_CHAR 求位元組數(byte) COUNT_BYTE=`echo "STR_FIRST" | wc -cecho $COUNT_BYTE 求字數(word) COUNT_WORD=echo 「$STR_FIRST」 | wc -w`
    echo $COUNT_WORD
  5. 比較
    相等比較
    str1 = str2
    不等比較
    str1 != str2
    舉例:
    if [ 「$USER_NAME」 = 「terry」 ]; then
    echo 「I am terry」
    fi
    小於比較

return 0 if the two string is equal, return 1 if $1 < $2, else 2 strCompare() { local x=0 if [ 「$1」 != 「$2」 ]; then x=2 local TEMP=printf "%s/n%s" "$1" "$2" local TEMP2=(echo "$1"; echo "$2") | sort if [ 「TEMP"="TEMP" = "TEMP2」 ]; then x=1 fi fi echo $x }

  1. 測試
    判空
    -z str
    判非空
    -n str
    是否爲數位

return 0 if the string is num, otherwise 1

strIsNum()
{
local RET=1
if [ -n 「$1」 ]; then
local STR_TEMP=echo "$1" | sed 's/[0-9]//g'
if [ -z 「$STR_TEMP」 ]; then
RET=0
fi
fi
echo KaTeX parse error: Expected 'EOF', got '}' at position 6: RET }̲ 舉例: if [ -n …USER_NAME" ]; then
echo 「my name is NOT empty」
fi
echo strIsNum "9980"
7. 分割
以符號+爲準,將字元分割爲左右兩部分
使用sed
舉例:
命令 date --rfc-3339 seconds 的輸出爲
2007-04-14 15:09:47+08:00
取其+左邊的部分
date --rfc-3339 seconds | sed ‘s/+[0-9][0-9]:[0-9][0-9]//g’
輸出爲
2007-04-14 15:09:47
取+右邊的部分
date --rfc-3339 seconds | sed ‘s/.*+//g’
輸出爲
08:00
以空格爲分割符的字串分割
使用awk
舉例:
STR_FRUIT=「Banana 0.89 100」
取第3欄位
echo $STR_FRUIT | awk ‘{ print $3; }’
8. 子字串
字串1是否爲字串2的子字串

return 0 is $1 is substring of $2, otherwise 1

strIsSubstring()
{
local x=1
case 「$2」 in
$1) x=0;;
esac
echo $x
}

shell 程式設計中使用到得if語句內判斷參數

–b 當file存在並且是塊檔案時返回真
  -c 當file存在並且是字元檔案時返回真
  -d 當pathname存在並且是一個目錄時返回真
  -e 當pathname指定的檔案或目錄存在時返回真
  -f 當file存在並且是正規檔案時返回真
  -g 當由pathname指定的檔案或目錄存在並且設定了SGID位時返回爲真
  -h 當file存在並且是符號鏈接檔案時返回真,該選項在一些老系統上無效
  -k 當由pathname指定的檔案或目錄存在並且設定了「粘滯」位時返回真
  -p 當file存在並且是命令管道時返回爲真
  -r 當由pathname指定的檔案或目錄存在並且可讀時返回爲真
  -s 當file存在檔案大小大於0時返回真
  -u 當由pathname指定的檔案或目錄存在並且設定了SUID位時返回真
  -w 當由pathname指定的檔案或目錄存在並且可執行時返回真。一個目錄爲了它的內容被存取必然是可執行的。
  -o 當由pathname指定的檔案或目錄存在並且被子當前進程的有效使用者ID所指定的使用者擁有時返回真。

UNIX Shell 裏面比較字元寫法:
  -eq 等於
  -ne 不等於
  -gt 大於
  -lt 小於
  -le 小於等於
  -ge 大於等於
  -z 空串
  = 兩個字元相等
  != 兩個字元不等
  -n 非空串
  -------------------------------------------------------------------------

更爲詳細的說明:
  運算子 描述 範例
  檔案比較運算子
  -e filename 如果 filename 存在,則爲真 [ -e /var/log/syslog ]
  -d filename 如果 filename 爲目錄,則爲真 [ -d /tmp/mydir ]
  -f filename 如果 filename 爲常規檔案,則爲真 [ -f /usr/bin/grep ]
  -L filename 如果 filename 爲符號鏈接,則爲真 [ -L /usr/bin/grep ]
  -r filename 如果 filename 可讀,則爲真 [ -r /var/log/syslog ]
  -w filename 如果 filename 可寫,則爲真 [ -w /var/mytmp.txt ]
  -x filename 如果 filename 可執行,則爲真 [ -L /usr/bin/grep ]
  filename1 -nt filename2 如果 filename1 比 filename2 新,則爲真 [ /tmp/install/etc/services -nt /etc/services ]
  filename1 -ot filename2 如果 filename1 比 filename2 舊,則爲真 [ /boot/bzImage -ot arch/i386/boot/bzImage ]

字串比較運算子 (請注意引號的使用,這是防止空格擾亂程式碼的好方法)
-z string 如果 string 長度爲零,則爲真 [ -z $myvar ]
  -n string 如果 string 長度非零,則爲真 [ -n $myvar ]
  string1 = string2 如果 string1 與 string2 相同,則爲真 [ $myvar = one two three ]
  string1 != string2 如果 string1 與 string2 不同,則爲真 [ $myvar != one two three ]

算術比較運算子
  num1 -eq num2 等於 [ 3 -eq $mynum ]
  num1 -ne num2 不等於 [ 3 -ne $mynum ]
  num1 -lt num2 小於 [ 3 -lt $mynum ]
  num1 -le num2 小於或等於 [ 3 -le $mynum ]
  num1 -gt num2 大於 [ 3 -gt $mynum ]
  num1 -ge num2 大於或等於 [ 3 -ge $mynum ]

指令碼範例:
  #!/bin/bash
  # This script prints a message about your weight if you give it your
  # weight in kilos and hight in centimeters.
  if [ ! $# == 2 ]; then
  echo 「Usage: $0 weight_in_kilos length_in_centimeters」
  exit
  fi
  weight="$1"
  height="2"  idealweight=2"   idealweight=[$height - 110]
  if [ $weight -le $idealweight ] ; then
  echo 「You should eat a bit more fat.」
  else
  echo 「You should eat a bit more fruit.」
  fi
  # weight.sh 70 150
  You should eat a bit more fruit.
  # weight.sh 70 150 33
  Usage: ./weight.sh weight_in_kilos length_in_centimeters
  位置參數 $1, $2,…, NN,#代表了命令列的參數數量, $0代表了指令碼的名字,
  第一個參數代表$1,第二個參數代表22,以此類推,參數數量的總數存在#中,上面的例子顯示了怎麼改變指令碼,如果參數少於或者多餘2個來列印出一條訊息。
  執行,並檢視情況。
  # bash -x tijian.sh 60 170
  + weight=60
  + height=170
  + idealweight=60
  + ‘[’ 60 -le 60 ‘]’
  + echo ‘You should eat a bit more fat.’
  You should eat a bit more fat.
  其中-x用來檢查指令碼的執行情況