今天接到一個新的粉絲訴求,讓我爬雙色球的歷史記錄,有點意思,瞬間想到的就是他想用這個資料來預測雙色球的結果呢?如果他成功了,那夢想橡皮擦也可以順帶著走上人生的巔峰了。嘿…
對於這種需求來說,其實不需要引入太複雜的框架,熟悉爬蟲編碼流程的大佬們清楚,好多爬蟲其實用 requests
就可以搞定了,根本不用上爬蟲框架。
爬蟲第一步,找資料來源,找到可用好用的資料來源,解決了 90% 的問題,剩下的抓取與分析就是技術熟練度的問題了,在我的一番查詢下,找到了這麼一個頁面,簡單、乾淨,看到之後就知道今天的午飯有著落了,哈哈哈。
http://kaijiang.zhcw.com/zhcw/html/ssq/list.html
該頁面沒有資料的介面返回,直接是在頁面進行渲染的,並且資料量不大,資料從 2003 年開始到 2020 年結束,合計 130+頁面&#