技術文章 » 通過Fiddler（windows）抓http請求（android、瀏覽器）

通過Fiddler（windows）抓http請求（android、瀏覽器）

2020-10-25 15:00:25

文章目錄

一、通過Fiddler（windows）抓的http請求設定

1. 什麼是Fidder

Fiddler（fiddler中文版）是一個http協定偵錯代理工具。fiddler能夠記錄並檢查所有你的電腦和網際網路之間的http通訊。

Fiddler是最強大最好用的Web偵錯工具之一，它能記錄所有使用者端和伺服器的http和https請求，允許你監視，設定斷點，甚至修改輸入輸出資料，使用Fiddler無論對開發還是測試來說，都有很大的幫助。Fiddler4基於4.0的.NET。

可以通過Fiddler對特定的請求，做分析資料、設定斷點、偵錯web應用、修改請求資料等操作，來達到偵錯web的作用。

Fiddler的執行機制其實就是本機上監聽 8888 埠的 HTTP 代理。 Fiddler 啟動的時候預設 IE 的代理設為了127.0.0.1:8888，而其他瀏覽器是需要手動設定的，所以將 Chrome 瀏覽器的代理改為127.0.0.1:8888 就可以監聽資料了。

因為fiddler抓包的原理就是通過代理，所以被測終端需要和安裝fiddler的電腦在同一個區域網中。

2. Fidder使用場景

1)輔助定位bug；
2)構建模擬測試場景；
3)APP弱網模擬測試；
4)前端效能分析及優化；

3. Fidder下載安裝

https://www.telerik.com/download/fiddler
騰訊軟體中心下載： https://pc.qq.com/detail/10/detail_3330.html

在這裡插入圖片描述雙擊下載的FiddlerSetup.exe進行安裝。
在這裡插入圖片描述彈出一個視窗：

Windows uses an isolation technology called ‘AppContainer’ that may interfere with traffic capture from Immersive Applications and the Edge browser. Use the WinConfig button in Progress Telerik Fiddler’s toolbar to enable teaffic capture.
Would you like to learn more?
To disable this warning. click ‘Cancel’.

大概意思是這樣的：

Windows使用稱為「AppContainer」的隔離技術，可能會干擾Immersive Applications和Edge瀏覽器的流量捕獲。 使用Progress Telerik Fiddler工具列中的WinConfig按鈕啟用茶葉捕獲功能。
你想了解更多嗎？
要禁用此警告。 點選「取消」。

最後到安裝目錄下找到fiddler.exe，雙擊即可使用fiddler了。

4. Fidder設定

【fiddler】fiddler 設定：HTTPS 或手機 APP 介面資料的抓包設定步驟
參考URL: https://blog.csdn.net/qq_39720249/article/details/81069929
抓包工具fiddler下載設定（一）：下載/安裝&信任證書
參考URL: https://www.cnblogs.com/mini-monkey/p/11286264.html

Fiddler監聽PC端 設定

  1. 開啟Fiddler的遠端連線：
    開啟Fiddler的遠端連線，Fiddler 主選單 Tools -> Fiddler Options…-> Connections頁籤，選中Allowremote computers to connect，並記住埠號為8888，等會設定手機代理時需要。

    fiddler>Tools>Fiddler Options>Connections 勾選Allow remote computers to connect。

  2. HTTPS設定設定
    手機上的應用很多涉及到個人資訊，採用比較安全的HTTPS加密過，而fiddler預設只捕獲http對談而不抓取HTTPS報文，導致開啟fiddler後就打不開https網頁（比如百度）。
    開啟Fiddler->Tool->Fiddler Options->HTTPS tab，勾選上並Capture HTTPS CONNECTs（捕獲 HTTPS 連線）和 Decrypt HTTPS traffic （HTTPS 請求解密），並安裝證書（首次使用無證書，會彈出是否信任fiddler證書和安全提示，直接點選yes就行），重新啟動Fiddler生效。
    在這裡插入圖片描述
    HTTPS下拉選單的一些選項說明：
    1.from all processes : 抓取所有的 https 程式, 包括 PC本機 和 手機。
    2.from browsers only : 只抓取瀏覽器中的 https 請求。
    3.from non-browsers only : 只抓取除了瀏覽器之外的所有 https 請求。
    4.from remote clients only ： 抓取遠端的使用者端的 https ,可以代表手機，開啟手機 Https 抓包，
    如果只想抓取手機上的所有 https 請求，就應該選中此選項。

在這裡插入圖片描述
由於此時抓取的封包包含了電腦和手機的所有封包，不便於檢視和分析，所以需要對fiddler抓取的封包進行過濾，進入到"Tools"—>Options——>https項，選擇"…from remote clients only"，這樣就只顯示抓到的手機上的封包。

fidder APP抓包時的手機設定

第一步：手機設定代理

  1. 讓手機和PC在同一個區域網下面：

    家用或辦公環境把PC和手機WLAN連線上同一個路由器的無線SSID獲取到同一網段內的IP地址即可。桌上型電腦要插入無線網路卡才能連WiFi，最好用筆記型電腦和手機連同一WiFi很方便。

  2. 設定-WLAN，找到連線的wifi長按，選擇修改網路：

  3. 然後勾選高階選項，選擇代理為手動，填入代理伺服器為自己電腦IP，埠填入剛剛記住的8888。

第二步：手機fiddler證書安裝
  1. 手機瀏覽器，位址列輸入http://IPV4:8888
    注意： http://IPV4:8888 就是你fidder監聽的ip和地址，即存取你本地fidder監聽服務。
  2. 點選頁面底部FiddlerRoot certificate 下載證書
  3. 開啟設定>更多設定>系統安全>加密與憑據>從儲存裝置安裝 選擇下載好的FiddlerRoot.cer進行安裝。
    ** 證書這裡不要選擇WLAN，不然在應用中開啟會顯示證書錯誤，應該選擇VPN和應用。**，如下，安裝證書介面
    在這裡插入圖片描述
  4. 瀏覽器開啟https://www.baidu.com/，已經可以抓取HTTPS包了
Android7及以上HTTPS抓包(信任使用者證書(CA)轉成系統證書)

Android讓系統信任使用者證書的方法
參考URL: https://www.sabia.cc/android-10-zhengshu.html
Fiddler https最新抓包方法(Android 9.0)
參考URL: https://blog.csdn.net/liuluok123/article/details/95971731
Fiddler HTTPS Andrioid 9.0證書解決方案
參考URL: https://blog.csdn.net/qq_34731627/article/details/103266514

Android從7.0過後，預設不再信任使用者匯入的證書檔案，以至於在資料抓包的時候，不能正確抓取HTTPS的封包。

解決方案
一、官方解決方案（需修改程式碼）
官方檔案：https://developer.android.google.cn/training/articles/security-config.html
詳細演示：https://blog.csdn.net/mrxiagc/article/details/75329629

思路：
Android 7.0後更新安全策略，**軟體可以自身選擇是否相信使用者匯入的證書。**所以當我們在手機匯入Fiddler的證書後，有些軟體依舊抓不到Https的包。
解決方案有2個:

  1. APK裡面加入相應的程式碼（需要修改應用,不夠通用）
  2. 把Fiddler證書匯入到手機系統裡面而非個人裡面。（只有root的手機才可以）

這裡講一下第二種方案：

  1. 首先將Fiddler證書匯出來,儲存為 FiddlerRoot.cer
    在這裡插入圖片描述
  2. Linux安裝Openssl
  3. Openssl安裝完成後把證書匯入到Linux系統下並進行轉換(cer證書轉pem證書)
    Fiddler預設是cer證書,需要將cer證書轉pem證書。
[root@VM_0_14_centos fiddler]# openssl x509 -inform der -in FiddlerRoot.cer -out fiddler.pem
[root@VM_0_14_centos fiddler]# openssl x509 -inform PEM -subject_hash_old -in fiddler.pem | head -1
269953fb
//如上得到字串如：269953fb，然後cat fiddler.pem 到這個字串.0 檔案
cat fiddler.pem > 269953fb.0

openssl x509 -inform PEM -text -in fiddler.pem -out /dev/null >>  269953fb.0
openssl x509 -inform PEM -subject_hash -in fiddler.pem | head -1

cat fiddler.pem > 035f9290.0

openssl x509 -inform PEM -text -in fiddler.pem -out /dev/null >> 035f9290.0

//把生成好的269953fb.0、035f9290.0這兩個檔案放入手
這兩個檔案放入手機/system/etc/security/cacerts 目錄下，並修改這2個檔案的讀寫許可權： chmod 777

重新啟動手機，如果生成的檔案正確，可以在 信任的憑據 -> 系統中找到如下Fiddler的證書,就可以正常抓取HTTPS的包了
在這裡插入圖片描述

注意：該方法需要手機root。

注意：本節暫未測試驗證。但是思路是沒有問題的，就是把你的使用者證書改成系統證書，從而讓可以抓包分析！

Android10匯入系統證書的方法

Android10匯入系統證書的方法。
參考URL: https://blog.csdn.net/fjh1997/article/details/106756012

由於安卓10採用了某些安全策略，將系統分割區/system掛載為唯讀，就算你root了也沒用，無法寫入系統分割區也就無法匯入系統證書，在使用http-canary這樣的軟體抓包分析的時候，很多app只認系統證書，不認使用者證書。

注意：本節暫未測試驗證。

二、Fidder常用使用技巧

1. 根據ip 過濾請求

開啟fiddler後，會監聽所有的請求，在大多數情況下，我們只需要監聽部分請求，此時可以使用Filters功能去控制。

在這裡插入圖片描述　　預設情況下過濾是未開啟的，需要勾選「user filters」進行啟動。如果有多套監聽方式，也可以將其匯出，在下次需要的時候進行匯入。

Hosts
　　域名過濾，通過設定，只監聽/或不監聽默寫域名。
在這裡插入圖片描述在選中不同的過濾方式後，配合下面輸入框中輸入的地址資訊，進行過濾。

（1、Hide the following Hosts：表示在輸入框中，輸入了哪些域名資訊，就不過濾，不進行監聽。

如：選中此項，在輸入框中，輸入www.baidu.com時，此時請求www.baidu.com的請求都不會進行監聽，在左側的session面板中，將不會有www.baidu.com相關的請求記錄。

（2、Show only the following Hosts：標識在輸入框中輸入了哪些域資訊，就只監聽這些域名，其他的域名將不進行監聽。

如：選中此項，在輸入框中，輸入www.baidu.com時，只有在存取www.baidu.com的請求才會進行監聽，即左側的sessson中只包含www.baidu.com的請求，其他的請求將不會監聽顯示。

（3、Flag the following Hosts：表示在輸入框中輸入了哪些域名資訊，在左側的session面板中，這些設定的域名在監聽到時，會加標識（如：加粗）

如：選中此項，在輸入框中輸入www.baidu.com，在存取www.baidu.com時左側的session面板中，會加標識（加粗）

總結： 點選右側的Filters => 勾選use Filters => host 第一個選項不動 no zone filter ，第二個選項選擇 show only following hosts ，然後填寫你需要監控的hosts ，用英文分號隔開。

2. fidder請求匯出

fiddler支援匯出多種格式，其中saz、har、bat格式(windows系統)是最為常用的。

2.1 匯出curl

右上角 File-> Export Sessions -> Selected Sessions
在這裡插入圖片描述

2.2 匯出為其他格式

  • SAZ
    SAZ是Session Archive Zip的縮寫。 SAZ檔案用於儲存HTTP請求的資訊.

    SAZ檔案是一種特殊格式的 .ZIP檔案。可以將.SAZ字尾修改為.ZIP, 然後使用標準的ZIP壓縮工具開啟。

  • HAR
    HAR是HTTP Archive format的縮寫，是一種json格式的存檔檔案格式，多用於記錄網頁請求記錄 。很多軟體都支援HAR格式，如：Fiddler，Firebug , Firefox， IE, chrom, Charles等

  • bat
    bat格式是windows批次處理命令的一種格式，通過fiddler匯出的bat檔案裡存放的是curl命令，可以在windows系統中直接執行，也可以匯入到其它工具中直接生成請求(如:postman)

    以上兩種格式匯出都是在Export Sessions中操作，不同的是匯出bat格式需要選擇cURL Script ,匯出har需要選擇HTTPArchive .

    總結：匯出為curl形式，可以匯入到postman，因此建議匯出為curl指令碼格式。

3. fidder 調大字型

選擇「工具」->「選項」。會彈出如下選項頁面，點選「外觀」索引標籤後再點選「選擇字型」即可調整Fiddler頁面字型。