for box in range(1, 90):
    data = city_tree.xpath(f"//tr[{box}]/td//text()")
    with open(fr'D:/dataSave/{provinceName}{city_name}.csv', 'a', encoding='utf-8', newline="") as writer:
        csv_write = csv.writer(writer, dialect='excel')
        csv_write.writerow(data)
    writer.close()
print('已完成對', city_name, '的爬取', '\n')

（3）採用os.listdir存取資料夾，獲得資料夾中全部的檔名，記入dirs。然後通過字元拼接獲得所有檔案存取的路徑。此外，通過正規表示式"歷史天氣(.*?).csv"獲取檔案目錄中的城市名，便於後續在地圖中對應分析。此外，對於日期時間資訊進行格式轉化，將其通過pd.to_datetime()轉為日期型資料，再通過dt.date刪去多餘的精度,有利於後續對於單個城市的視覺化建圖。然後在通過遍歷表格得到關於天氣情況的txt文字，使用jieba和counter進行詞頻統計。

dirs = os.listdir('D:/dataSave')
for filename in dirs:
    path = 'D:/dataSave/' + filename
    city = re.findall(r"歷史天氣(.*?).csv", path)[0]
    data = pd.read_csv(path, encoding='utf-8')

    data['日期時間'] = data['日期時間'].apply(lambda x: pd.to_datetime(x, format="%Y%m%d"))
data['日期時間'] = data['日期時間'].dt.date

text = ""
for i in data['天氣情況']:
    text = text + ',' + i
words = [x for x in jieba.lcut(text) if x != ',']
words_count = Counter(words).most_common(40)

資料分析與視覺化

資料視覺化

為了使得課題研究資料結果更加清晰明顯，決定將對資料圖進行視覺化製作，由於本次課題主要是為了研究各地的天氣波動，於是嘗試將該資料在地圖上採用html的形式展示。

（1）採用來自麻省理工大學的@chenjiandongx等人制作的pyecharts.map中國地圖視覺化json檔案，並針對視覺化需要進行修改。在初始模板中，沒有提供視覺化實現方式，僅提供市級區分，以及對應的資料填寫位置，但其對於資料只提供了數位以及字串型別的解析支援，想要完成外連需要自己另外尋找解決方案。通過偵錯，在每個城市對應的按鍵中以字串形式儲存了URL地址，實現了僅支援實現單個區域選中並塗色處理。而後嘗試了通過在map中新增方法實現URL的觸發，但由於其不支援HTML文字解析，即使外部匯入HTML庫也無法完成該功能；而後嘗試通過在外部新增pyautogui庫實現滑鼠事件的獲取，但由於目標數量過多且處於動態變化，無法對應地新增控制元件時間監視器，故pyautogui庫也無法實現該功能。

圖4 經過初步偵錯的中國城市地圖

 （2）同樣採用@chenjiandongx等人提供的網頁line表繪製，通過查閱資料自己定義屬性值，更改資料顯示方式，頁面框架，動畫渲染，實現了動態切換折線圖與柱狀圖、儲存圖片為.png格式檢視與更改表格資料、下方設定拉伸條，調整時間條的同時解決了資料密度較大的情況下可能出現的問題，通過標註表示最高溫、最低溫，以及每日最高溫的平均值、最低溫的平均值，可以通過滑鼠移動檢視每個日期所帶資料，可以選擇隱藏最高氣溫/最低氣溫，僅觀察一項，此外設定區間縮放功能以及撤回功能。由此實現直觀、流暢、介面簡潔、展示效果好的可互動式視覺化，供研究使用。

（3）通過調取資料表中「天氣情況」列資料進行文字分析，通過呼叫jieba庫實現中文分詞，而後採用counter庫進行詞頻統計，最後呼叫wordcloud生成詞雲圖，該圖表可以實現對近日天氣情況頻率的分析。此外利用網頁的優勢，新增了滑鼠事件動態響應標籤，更好地補全了網頁展示的資訊。

圖11 天氣情況詞雲圖

（4）通過直接檢視與修改網頁前端程式碼，學習相關JavaScript知識。先是嘗試了使用JQ選擇器，獲取網頁事件並通過標籤呼叫實現URL獲取，但由於網頁標籤不夠詳細，無法實現URL的精確定位，故無法解決（1）中的遺留問題；最後選擇在網頁中自行新增滑鼠事件獲取響應資訊，解析pramas獲得URL地址，而後通過window.open實現新網頁頁面的開啟。

chart_46c9f11bad4044d2aa5bde8fd9fda973.on("click", function (params) {
    url ='file:///'+params.data.value;
    window.open(url);
    // window.location.href=url;    //更新視窗
});

（5）採用LSTM時間序列分析，基於已有資料訓練得到新的資料。長短期記憶（Long short-term memory, LSTM）相比普通的RNN，LSTM能夠在更長的序列中有更好的表現，故而在面對日益增長的天氣資料時，LSTM能發揮更好的作用。以安徽安慶資料為例，將前十天的日最低氣溫作為訓練集，而後對新一天的最低溫進行預測，得到新的一天的真實資料後加入訓練集進行增強訓練，最終預測結果如圖10所示：可以看到預測結果趨勢與真實值一致，預測效果較為理想。

圖12 時間序列分析預測結果對比圖（橙：實際值，藍：預測值）

結論

本文通過使用python網路爬蟲獲取天氣網的天氣狀況，實現豐富多樣的資料視覺化，幫助使用者在運用相關的專業知識實現對以往資料的橫向和縱向、大尺度和小尺度的比較[1]；再者，通過分析氣溫的變化規律，可以得到區域性對流空氣對我國天氣的影響情況；通過某地區天氣情況詞頻統計可以判斷城市的宜居程度以及提供旅遊時間參考。

視覺化中提供了滑動視窗、檢視縮放，在資料預測分析中採用了LSTM神經網路，能夠很好地適應資料量增大的情況。總體上，本研究對於構建全國城市巨量資料氣象資訊平臺做出了切實可行的嘗試，不論是對氣象學研究還是全國各城市的能源的合理排程分配工作都具有重要意義。

參考文獻