隨便地記一下初次接觸爬蟲的嘗試

2020-10-06 14:01:07

訴求
抓取汽車xx網站某一車型各個店家的最低價

操作
照著書試了下靜態抓取網頁 發現資料是使用ajax和js動態載入的
於是構建post方法傳送請求
得到json格式的資料 再簡單地輸出到xlsx檔案

問題
這個資料目前意義不大,需要自動抓取更多資料進行分析,量變引起質變。
需要思考如何自動化抓取更多資料。
後續還要搭配前端技術分析資料,提供一個比較基本的資料分析服務,這樣才能發揮資料的作用。
綜上所述,需要做的事情還非常多。