技術文章 » 使用 shell 指令碼自動申請進京證 (六環外) —— debug 過程

使用 shell 指令碼自動申請進京證 (六環外) —— debug 過程

2023-05-09 18:02:34

問題現象

用 shell 指令碼寫了一個自動辦理六環外進京證的工具 《使用 shell 指令碼自動申請進京證 (六環外)》，然而執行這個指令碼總是返回以下錯誤資訊：

{
  "msg": "目前辦理業務人數較多，請稍後再試。",
  "code": 500
}

諮詢 woodheader/jjz 專案的作者，瞭解到問題就是出在請求頭或引數上。仔細的檢查了傳入的各種引數，沒有發現任何問題；修改 http 頭的格式 (key 與 value 間增加空格)，也沒有絲毫改善。

寫指令碼花了兩天，偵錯指令碼花了三天卻還沒摸到門徑，真是見了鬼了。有時候懷疑是自己被拉進反作弊名單了，切換另外一臺裝置的 source 和 authorization 後，結果還是出錯，真是離了大譜。

思路

目前在 android 裝置的 App 上進行請求用同樣的引數是可以辦理成功的，並且有 VNET/Charles 的抓包資料。如果能對指令碼的請求進行抓包，再將兩者對比起來看，問題就容易暴露了。

Charles 抓包 curl

Charles 抓包的教學網上比較多，這裡就不贅述了，需要注意的是和 VNET 一樣，App 登入階段不能抓包，否則登入介面調不出來。

Charles 可以抓 App 的報文，如果也能抓指令碼的報文，兩個一對比問題就水落石出啦~

經過一番百度，發現要讓 Charles 抓命令列的報文還比較麻煩，需要設定兩個環境變數：

export http_proxy=172.21.222.149:8888
export https_proxy=172.21.222.149:8888

其中 172.21.222.149:8888 就是 Charles 開啟代理的 IP 和埠：

然而開啟抓包後，curl 要麼失敗，要麼卡住，總是抓不到包：

> sh jinjing.sh 
check jq ok
check curl ok
check head ok
check cat ok
check awk ok
check grep ok
check date ok
state req: {"v":"3.4.1","sfzmhm":"150121198603226428","s-source":"bjjj-android","timestamp":"1677810190000"}
state headers:  -H Accept-Language:zh-CN,zh;q=0.8 -H User-Agent:okhttp-okgo/jeasonlzy -H source:8724a2428c3f47358741f978fd082810 -H authorization:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx -H Content-Type:application/json;charset=utf-8 -H Host:jjz.jtgl.beijing.gov.cn -H Connection:Keep-Alive -H Accept-Encoding:gzip -H Content-Length:0
jinjing.sh: line 99: [: too many arguments
query permits status ok: 
id [] from user token does not match given [150121198603226428], fatal error!

VNET 抓包 curl

Charles 不行就想到了 VNET，不過它只能在 android 裝置上抓包，如何讓它抓 pc 上執行的 curl 呢？其實不難，把指令碼放在裝置上執行就好了。

adb shell 執行指令碼

這個指令碼只要有 shell 環境就能用，可移植性比較好，立馬用 adb shell 傳送到裝置上試試：

> adb push jinjing.sh /sdcard/
jinjing.sh: 1 file pushed, 0 skipped. 9.9 MB/s (11790 bytes in 0.001s)
> adb push config.ini /sdcard/
config.ini: 1 file pushed, 0 skipped. 0.2 MB/s (428 bytes in 0.002s)
> adb shell
PD1981:/ > cd /sdcard
PD1981:/sdcard > mkdir jjz
PD1981:/sdcard > mv jinjing.sh config.ini jjz/                                                                                                                                       
PD1981:/sdcard > cd jjz
PD1981:/sdcard/jjz > ls -lh 
total 16K
-rw-rw---- 1 root everybody 428 2023-02-10 16:01 config.ini
-rw-rw---- 1 root everybody 12K 2023-03-03 10:34 jinjing.sh
PD1981:/sdcard/jjz > sh jinjing.sh
jinjing.sh[1]:  #!: inaccessible or not found
please install jq before run this script, fatal error!

提示沒有檢測到 jq，這命令確實不是 android 標配，在 pc 上都需要安裝，更不要說這種移動裝置了。

arm jq

翻開 jq 官網下載頁，各種預編譯版本中沒有 arm 平臺的：

通過包管理器直接安裝更是想都不要想。直接下載 linux 通用版本，無論是 32 位還是 64 位都不能執行：

> ./jq
/system/bin/sh: ./jq: not executable: 32-bit ELF file
> ./jq
/system/bin/sh: ./jq: not executable: 64-bit ELF file

網上搜尋了一下，找到一個 aarch64 平臺的 rpm 包：jq-1.5-1.el7.aarch64.rpm

aarch64 應該就是 arm64 沒錯了，經過 cpio 解壓後得到了裡面的 jq 可執行檔案：

> wget  https://download-ib01.fedoraproject.org/pub/epel/7/aarch64/Packages/j/jq-1.5-1.el7.aarch64.rpm
> rpm2cpio jq-1.5-1.el7.aarch64.rpm | cpio -div
./usr/bin/jq
./usr/lib64/libjq.so.1
./usr/lib64/libjq.so.1.0.4
./usr/share/doc/jq/AUTHORS
./usr/share/doc/jq/COPYING
./usr/share/doc/jq/README
./usr/share/doc/jq/README.md
./usr/share/man/man1/jq.1.gz
873 blocks

將 ./usr/bin/jq push 到裝置執行，還是不行：

PD1981:/data/local/tmp/jjz > file jq
jq: ELF executable, 64-bit LSB arm64, dynamic (/lib/ld-linux-aarch64.so.1), BuildID=77ce7804044f5185df2d25650051ced0ea6bed94, stripped
PD1981:/data/local/tmp/jjz > ./jq --versoin
/system/bin/sh: ./jq: No such file or directory

這裡還有一個小插曲，在預設的 /sdcard 目錄執行可執行檔案時失敗：

> ./jq
/system/bin/sh: ./jq: can't execute: Permission denied

即使給了 jq 可執行許可權也不行 (chmod)，經過一番百度，發現需要放在另一個目錄才可以：/data/local/tmp

交叉編譯 jq

好在 jq 是開源的，可以直接基於原始碼編譯，不過 android 裝置上可沒有編譯環境，所以還得藉助 linux 進行交叉編譯。

#! /bin/sh
git clone  https://github.com/stedolan/jq.git

cd jq
# git submodule update --init
# autoreconf will fail with following error:
# ...
# configure.ac:6: error: require Automake 1.14, but have 1.13.4
# autoreconf: automake failed with exit status: 1


mkdir build
cd build 

autoreconf -i ..
CPATH="${ANDROID_NDK_HOME}/toolchains/llvm/prebuilt/linux-x86_64/bin/"
../configure --without-oniguruma --disable-maintainer-mode  CFLAGS='-std=c99' --prefix=$PWD/install/ --host='armv7a-linux-androideabi21' CC="$CPATH/armv7a-linux-androideabi21-clang"  LD="$CPATH/arm-linux-androideabi-ld"  AR="$CPATH/arm-linux-androideabi-ar"

make
make install

參考網上的一篇文章改了改，用上面這個指令碼可以編譯，前提是要有 android ndk 並將根目錄設定到環境變數 ANDROID_NDK_HOME。

另外有兩個小點需要注意：

  • 不要下載 jq 庫中的模組 (submodule)，否則 autoreconf 需要更高的版本，在我的環境中會報錯退出。下載模組主要目的是為了編譯 oniguruma 正則匹配庫，而我們是忽略這個庫的，所以沒必要
  • 個人習慣建立臨時目錄 (build) 進行編譯，方便後期清理編譯產物，然而在 jq 這裡卻遇到了麻煩，需要稍微做一點工作

第一個問題的報錯資訊：

> autoreconf -i .
libtoolize: putting auxiliary files in `.'.
libtoolize: copying file `./ltmain.sh'
libtoolize: putting macros in AC_CONFIG_MACRO_DIR, `m4'.
libtoolize: copying file `m4/libtool.m4'
libtoolize: copying file `m4/ltoptions.m4'
libtoolize: copying file `m4/ltsugar.m4'
libtoolize: copying file `m4/ltversion.m4'
libtoolize: copying file `m4/lt~obsolete.m4'
configure.ac:6: error: require Automake 1.14, but have 1.13.4
autoreconf: automake failed with exit status: 1

這裡我的 automake 剛好是 1.13.4 < 1.14，如果你的機器上版本大於等於 1.14，隨便造。。

第二個問題的報錯資訊：

> make
...
  CC       src/lexer.lo
  YACC     src/parser.c
NOT building parser.c!
  CC       src/parser.lo
clang: error: no such file or directory: 'src/parser.c'
clang: error: no input files
make[2]: *** [src/parser.lo] Error 1
make[2]: Leaving directory `/home/users/yunhai01/test/jq/build'
make[1]: *** [all-recursive] Error 1
make[1]: Leaving directory `/home/users/yunhai01/test/jq/build'
make: *** [all] Error 2
make  install-recursive
make[1]: Entering directory `/home/users/yunhai01/test/jq/build'
make[2]: Entering directory `/home/users/yunhai01/test/jq/build'
  YACC     src/parser.c
NOT building parser.c!
  CC       src/parser.lo
clang: error: no such file or directory: 'src/parser.c'
clang: error: no input files
make[2]: *** [src/parser.lo] Error 1
make[2]: Leaving directory `/home/users/yunhai01/test/jq/build'
make[1]: *** [install-recursive] Error 1
make[1]: Leaving directory `/home/users/yunhai01/test/jq/build'
make: *** [install] Error 2

這裡報 src/parser.c 找不到，然而在上一級目錄中對應的位置卻是有的，應該是 yacc 生成 .c 檔案時放在了上一級目錄，而使用 build 目錄後 make 沒有找到該檔案，手動複製一下即可：

> cp ../src/parser.c src/
> make
make  all-recursive
make[1]: Entering directory `/home/users/yunhai01/test/jq/build'
make[2]: Entering directory `/home/users/yunhai01/test/jq/build'
  CC       src/parser.lo
  CCLD     libjq.la
  CC       src/main.o
  CCLD     jq
make[2]: Leaving directory `/home/users/yunhai01/test/jq/build'
make[1]: Leaving directory `/home/users/yunhai01/test/jq/build'

應該是 jq 的一個小 bug，已提交 issue。

> file install/bin/jq
jq: ELF 32-bit LSB shared object, ARM, version 1 (SYSV), dynamically linked (uses shared libs), not stripped

> adb push install/bin/jq /data/local/tmp/jjz/
> adb shell
PD1981:/ > cd /data/local/tmp/jjz
PD1981:/data/local/tmp/jjz > chmod u+x jq
PD1981:/data/local/tmp/jjz > export PATH="$PATH:$PWD"
PD1981:/data/local/tmp/jjz > jq --version
jq-1.6-159-gcff5336-dirty

push 到裝置就能用啦，這裡為了指令碼呼叫方便設定了 PATH 環境變數，斷開 adb 後就失效了，需要每次登入都設定一下。

shell 陣列初始化

有了 jq 就可以繼續開開心心地跑指令碼了，然而得到當頭一棒：

> sh jinjing.sh
check jq ok
check curl ok
check head ok
check cat ok
check awk ok
check grep ok
check date ok
jinjing.sh[71]: syntax error: unexpected '('

看看 71 行的內容：

    local stateheader=()

再普通不過的 shell 陣列初始化語法，看起來非 bash 的 shell 不認，只好把它改成更通用的形式：

    local stateheader

這絲毫不影響陣列的初始化。

寫死日期

繼續執行指令碼，這回跑通了，然而申請結果不正確：

{
  "code": 500,
  "msg": "進京日期不能為空!",
  "data": null,
  "from": "v2"
}

再看設定的申請日期：

in effect from 2023-02-25 to 2023-03-03
date: bad date +1 days
new permit will start from

居然是空。原來是 adb shell 中的 date 不支援 "+1 days" 這種 unix date 語法：

PD1981:/data/local/tmp/jjz > date '+%Y-%m-%d' -d "+1 days"                                                                                                              
date: bad date +1 days
PD1981:/data/local/tmp/jjz > date -v+1d "+%Y-%m-%d"                                                                                                                 
date: Unknown option 'v+1d' (see "date --help")

mac date 那種 "-v+1d" 也不支援，看 adb date 的說明：

$ date --help
Toybox 0.8.4-android multicall binary: https://landley.net/toybox (see toybox --help)

usage: date [-u] [-I RES] [-r FILE] [-d DATE] [+DISPLAY_FORMAT] [-D SET_FORMAT] [SET]

Set/get the current date/time. With no SET shows the current date.

-d	Show DATE instead of current time (convert date format)
-D	+FORMAT for SET or -d (instead of MMDDhhmm[[CC]YY][.ss])
-I RES	ISO 8601 with RESolution d=date/h=hours/m=minutes/s=seconds/n=ns
-r	Use modification time of FILE instead of current date
-u	Use UTC instead of current timezone

Supported input formats:

MMDDhhmm[[CC]YY][.ss]     POSIX
@UNIXTIME[.FRACTION]      seconds since midnight 1970-01-01
YYYY-MM-DD [hh:mm[:ss]]   ISO 8601
hh:mm[:ss]                24-hour time today

All input formats can be followed by fractional seconds, and/or a UTC
offset such as -0800.

All input formats can be preceded by TZ="id" to set the input time zone
separately from the output time zone. Otherwise $TZ sets both.

+FORMAT specifies display format string using strftime(3) syntax:

%% literal %             %n newline              %t tab
%S seconds (00-60)       %M minute (00-59)       %m month (01-12)
%H hour (0-23)           %I hour (01-12)         %p AM/PM
%y short year (00-99)    %Y year                 %C century
%a short weekday name    %A weekday name         %u day of week (1-7, 1=mon)
%b short month name      %B month name           %Z timezone name
%j day of year (001-366) %d day of month (01-31) %e day of month ( 1-31)
%N nanosec (output only)

%U Week of year (0-53 start Sunday)   %W Week of year (0-53 start Monday)
%V Week of year (1-53 start Monday, week < 4 days not part of this year)

%F "%Y-%m-%d"   %R "%H:%M"        %T "%H:%M:%S"        %z  timezone (-0800)
%D "%m/%d/%y"   %r "%I:%M:%S %p"  %h "%b"              %:z timezone (-08:00)
%x locale date  %X locale time    %c locale date/time  %s  unix epoch time

也沒看出來個所以然。搞不懂這個 adb date 了，好在只是偵錯，可以直接寫死日期為一個合法值：

# mac date performs differs with other unix..
if [ ${IS_MAC} -eq 1 ]; then 
    issuedate=$(date "-v+${expire}d" '+%Y-%m-%d')
else 
    issuedate=$(date '+%Y-%m-%d' -d "+${expire} days")
fi

issuedate="2023-03-04"

然後就成功了！

{
  "code": 200,
  "msg": "資訊已提交，正在稽核!",
  "data": [
    "溫馨提示",
    "1、請務必在進京之前，檢視進京通行證是否稽核通過；",
    "2、若稽核未通過，請按提示資訊調整並重新申請；",
    "3、若稽核通過，可在證件生效之前申請取消，每位註冊使用者每天僅有1次取消機會；",
    "4、在進京通行證未生效的情況下，外埠機動車禁止在限行區域內行駛；"
  ],
  "from": "v2"
}

VNET

本來要抓出錯的報文進行對比，沒想到 adb shell 上居然歪打正著跑通了，這下 VNET 抓包也沒什麼用了，雖然通過指定 shell 可以實現抓包：

可以看到，http 頭中的 Key 名稱重複了，應該是 VNET 顯示的問題。另外對比 Charles 與 VNET 的抓包結果，發現以下欄位是 VNET 自己加的：

  • ip: 203.34.106.199
  • type: POST
  • time: 2023-03-03 15:48:51
  • size: 705
  • code: 200

可能是為了顯示方便，在指令碼里加這些引數純粹是畫蛇添足，所以我都刪掉了。

這裡有一個小插曲，如果不開啟 curl 的 -k 引數，VNET 抓包會導致 curl 請求卡死，且 VNET 也抓不到包，這是通過 -v 選項發現的：

curl: (60) SSL certificate problem: self signed certificate in certificate chain
More details here: https://curl.haxx.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.

升級 curl

走到這一步就很有意思了：pc 上 curl 失敗、android 上成功；pc 上能抓 App 包、抓不到 curl 包；android 上能抓兩者的包但是都成功沒有對比意義。

現在能直接對比的只有 pc 上的 curl 和 android 的上 curl，於是對比了一下兩者的版本：

macOS:
> curl -V
curl 7.64.1 (x86_64-apple-darwin20.0) libcurl/7.64.1 (SecureTransport) LibreSSL/2.8.3 zlib/1.2.11 nghttp2/1.41.0
Release-Date: 2019-03-27
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp 
Features: AsynchDNS GSS-API HTTP2 HTTPS-proxy IPv6 Kerberos Largefile libz MultiSSL NTLM NTLM_WB SPNEGO SSL UnixSockets

CentOS:
> curl -V
curl 7.29.0 (x86_64-redhat-linux-gnu) libcurl/7.29.0 NSS/3.53.1 zlib/1.2.7 libidn/1.28 libssh2/1.8.0
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smtp smtps telnet tftp 
Features: AsynchDNS GSS-Negotiate IDN IPv6 Largefile NTLM NTLM_WB SSL libz unix-sockets 

android:
> curl -V
curl 7.73.0 (Android) libcurl/7.73.0 BoringSSL zlib/1.2.11
Release-Date: 2020-10-14
Protocols: file http https mqtt 
Features: AsynchDNS HTTPS-proxy IPv6 libz NTLM SSL UnixSockets

其實是三者，pc 有兩個：一個 linux，一個 mac。發現它們版本都不盡相同，不過 android 上的版本比 pc 的都大，可以考慮升級 linux 的版本到 7.87 嘗試。

這裡沒有再用原始碼編譯安裝的方式，直接下載一個 linux x86 版本完事：

> bin/curl -V
curl 7.87.0 (x86_64-pc-linux-muslx32) libcurl/7.87.0 OpenSSL/1.1.1s zlib/1.2.12 libssh2/1.9.0 nghttp2/1.43.0
Release-Date: 2022-12-21
Protocols: dict file ftp ftps gopher gophers http https imap imaps mqtt pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: alt-svc AsynchDNS HSTS HTTP2 HTTPS-proxy IPv6 Largefile libz NTLM NTLM_WB SSL threadsafe TLS-SRP UnixSockets
> pwd
/home/users/yunhai01/tools
> echo $PATH
/home/yunh/.BCloud/bin:/home/users/yunhai01/.local/bin:/home/users/yunhai01/bin:/home/users/yunhai01/tools/bin:/home/users/yunhai01/project/android-ndk-r20:/usr/lib64/qt-3.3/bin:/usr/local/bin:/usr/bin:/opt/bin:/home/opt/bin:/home/users/yunhai01/tools/node-v14.17.0-linux-x64/bin
> curl -V
curl 7.29.0 (x86_64-redhat-linux-gnu) libcurl/7.29.0 NSS/3.53.1 zlib/1.2.7 libidn/1.28 libssh2/1.8.0
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smtp smtps telnet tftp 
Features: AsynchDNS GSS-Negotiate IDN IPv6 Largefile NTLM NTLM_WB SSL libz unix-sockets 
> type curl
curl is hashed (/usr/bin/curl)
> whereis curl
curl: /usr/bin/curl /home/users/yunhai01/tools/bin/curl /usr/share/man/man1/curl.1.gz

這裡有一個小插曲，即使我將新下載的 curl 所在的路徑 (tools/bin) 放在了 PATH 環境變數當中，存取 curl 時仍是存取系統自帶的那個，只得將指令碼中所有 curl 通過指定全路徑的方式來切換為新版。

最後在 linux 上執行指令碼仍失敗。

對比 curl 輸出

走到這兒我是真的鬱悶了。既然不能抓包，那就對比 curl -v 輸出吧！索性指令碼已經能在 android 上跑通了，有個可以對比的基準了：

過濾掉一些版本的差異，發現了最重要的區別：Content-Length，android 上的長度是 340，而 pc 上只有 304。長度不足會導致 post 資料被截斷，伺服器返回 500，這就說通了。

那為何相同的請求資料會得到不同的長度呢？先看看請求資料到底是多長：

> echo ${issue_req} 
{"dabh":"null","hphm":"津ADY1951","hpzl":"52","vId":"1479816562371952600","jjdq":"海淀區","jjlk":"00401","jjlkmc":"京藏高速","jjmd":"01","jjmdmc":"自駕旅遊","jjrq":"2023-03-04","jjzzl":"02","jsrxm":"雲海","jszh":"150121198603226428","sfzmhm":"150121198603226428","xxdz":"百度大廈","sqdzbdjd":116.307393,"sqdzbdwd":40.057771}
$ echo ${issue_req} | wc -c
     341
$ echo ${#issue_req}
304

果然是請求成功的 340，其中多了個 1 是結尾換行。而指令碼中指定的 Content-Length 是通過 shell 字串長度獲取的 (${#issue_req})，這個在 pc 上果然是 304。

所以問題的根因就清楚了，是錯誤的將 shell 字串長度做為了資料長度，當資料內容中不包含漢字時，它倆是一致的，這也是為什麼 stateList 可以請求成功的原因；而當資料中包含 utf-8 漢字後，一個漢字佔用 3 個位元組，在 shell 字串中卻只統計了一次，所以導致長度偏小。

這正是 —— 踏破鐵鞋無覓處，得來全不費功夫啊！明明感覺只隔了一層窗戶紙，沒想到捅破它卻用盡了渾身的力氣，哈哈~

痛定思痛，不要使用 shell 字串長度作為資料長度就是這個 bug 的經驗教訓。

覆盤

最後來複盤一下，為何 adb shell 中包含漢字的字串長度就能等於資料長度呢？下面做個小實驗：

> data='{"dabh":"null" "hphm":"津ADY1951" "hpzl":"52" "vId":"1479816562371952600" "jjdq":"海淀區" "jjlk":"00401" "jjlkmc":"京藏高速" "jjmd":"01" "jjmdmc":"自駕旅遊" "jjrq":"2023-03-04" "jjzzl":"02" "jsrxm":"雲海" "jszh":"150121198603226428" "sfzmhm":"150121198603226428" "xxdz":"百度大廈" "sqdzbdjd":116.307393 "sqdzbdwd":40.057771}'
> echo "${data}"
{"dabh":"null" "hphm":"津ADY1951" "hpzl":"52" "vId":"1479816562371952600" "jjdq":"海淀區" "jjlk":"00401" "jjlkmc":"京藏高速" "jjmd":"01" "jjmdmc":"自駕旅遊" "jjrq":"2023-03-04" "jjzzl":"02" "jsrxm":"雲海" "jszh":"150121198603226428" "sfzmhm":"150121198603226428" "xxdz":"百度大廈" "sqdzbdjd":116.307393 "sqdzbdwd":40.057771}
> echo ${#data}
304

> cat test.sh
#! /bin/sh
data='{"dabh":"null" "hphm":"津ADY1951" "hpzl":"52" "vId":"1479816562371952600" "jjdq":"海淀區" "jjlk":"00401" "jjlkmc":"京藏高速" "jjmd":"01" "jjmdmc":"自駕旅遊" "jjrq":"2023-03-04" "jjzzl":"02" "jsrxm":"雲海" "jszh":"150121198603226428" "sfzmhm":"150121198603226428" "xxdz":"百度大廈" "sqdzbdjd":116.307393 "sqdzbdwd":40.057771}'
echo ${#data}
echo "${data}" | wc -c 
> sh test.sh
340
341

發現兩個有趣的現象：

  • 直接將資料賦給 adb shell 變數時，長度是 304 短缺 (注意如果不將 data 用雙引號括住，json 資料的外花括號將缺失，不清楚為何)
  • 呼叫 shell 指令碼賦值給 shell 變數時，長度為 340 正常，與 wc 的輸出僅差了一個換行，可以看作是一致的

adb shell 在互動執行和指令碼執行時行為還不一樣，這真是離大譜。感興趣的讀者可以進一步探究，我是查不動了。。

結語

本文記錄了一個指令碼不工作的排查過程，在嘗試抓包進行報文對比思路的引導下，分別探索了 Charles pc 抓 curl -> VNET android 抓 curl -> jq arm 交叉編譯 -> 去除 shell 陣列初始化 -> 去除 date +1 -> 升級 curl -> 對比 pc 和 android 上的 curl -v 輸出，最終定位到了問題根因：使用 shell 字串長度作為資料長度、在操作 utf-8 漢字資料時計算了錯誤的 Content-Length、從而引發了伺服器端返回錯誤響應的過程。

bug 沒什麼神奇的，甚至有點低階，說出來還有點不好意思。不過探索問題的過程就是這樣，不到最後一刻，永遠不知道自己被多麼小的錯誤絆倒了。雖然錯誤低階，排查的過程還是蠻高大上的，總體思路也是正確的，只是在具體的摸索過程中走了不少彎路，回頭來看看，也蠻有意思，特別是 android adb shell，真的對它產生了新的認知。

adb shell 拓展了 shell 指令碼執行的平臺，之前寫的好多指令碼，其實都可以稱到 android 裝置上跑。這方面有一個 Termux 可用，如果再和定時執行聯絡起來，大有可為，一機在手走遍天下，這樣看 linux 伺服器都可以省了，哈哈~

後記

在寫這篇文章的時候，又對上述流程做了個梳理，補充兩個新的情況。

arm jq

正文使用的是 rpm 包，我在搜尋時又找到一個 deb 包：jq_1.6-1ubuntu0.20.04.1_arm64.deb

> wget  http://ports.ubuntu.com/pool/universe/j/jq/jq_1.6-1ubuntu0.20.04.1_arm64.deb
> ar -vx jq_1.6-1ubuntu0.20.04.1_arm64.deb 
x - debian-binary
x - control.tar.xz
x - data.tar.xz
> tar xvf data.tar.xz
x ./
x ./usr/
x ./usr/bin/
x ./usr/bin/jq
x ./usr/share/
x ./usr/share/doc/
x ./usr/share/doc/jq/
x ./usr/share/doc/jq/AUTHORS.gz
x ./usr/share/doc/jq/copyright
x ./usr/share/man/
x ./usr/share/man/man1/
x ./usr/share/man/man1/jq.1.gz
x ./usr/share/doc/jq/README
x ./usr/share/doc/jq/changelog.Debian.gz

將它解壓並推播到裝置上，還是沒效果，看來還必需走交叉編譯這步了。

Charles 抓包 curl

設定 http_proxy/https_proxy 環境變數後，啟動指令碼，Charles 抓到 curl 的包了：

curl 也正常返回了，之前卡死或失敗的場景不再復現了，神奇。

如果當時這一步走通的話，就可以直接對比 curl 的報文與 App 的報文找到原因了！而不用繞這麼大一圈，Charles 坑我~

後來回想一下，可能是為 curl 增加了 -k 選項的緣故。

參考

[1]. Linux bash終端設定代理（proxy）存取

[2]. Download jq

[3]. rpm檔案解壓

[4]. .deb檔案的解壓與壓縮

[5]. how-to-set-executable-permissions-on-a-file-in-android-to-execute-using-runtime

[6]. jq的交叉編譯

[7]. Shell curl 命令報錯：(60) SSL certificate problem: self signed certificate

[8]. curl download

[9]. Linux shell統計位元組數、字數、行數