數據採集與預處理課設——人在迴路的氣溫數據動態處理與可視化

• 2022 年 7 月 20 日
• 筆記

數據採集與預處理課設——人在迴路的氣溫數據動態處理與可視化

摘要

本次研究旨在通過python網絡爬蟲技術，獲得中國各城市近90天的氣象數據，運用HTML、Xpath、jieba、counter等技術對數據進行處理，繪製動態可視化圖、詞雲圖等，結合@chenjiandongx等人提供的pyecharts技術將其具現在地圖上的同時，採用LSTM時間序列分析技術實現基於歷史數據的天氣預測。我們希望通過實現全國城市氣象數據的可視化，把握異常氣候影響範圍與程度。相較於傳統的圖片可視化，本研究採用網頁動態展示，通過實現地圖中城市鏈接到對應網頁，網頁控件關聯數據表數據視圖、圖表類型以及窗口範圍，大大增加了交互性，方便了研究與使用。

引言

大數據時代的到來為氣象研究提供了大量的數據支撐，如何高效地獲取與使用現有的大量數據已成為重要的研究課題。但由於數據過於分散，沒有公開的大型氣象信息可視化平台，日常研究受到數據數量以及工具的限制。

本研究試通過對全國數據整合分析，實現數據全覽的可視化分析網頁平台搭建，基於當前易獲取數據做出對於大數據的情況的合理規劃與嘗試，設計了滑動窗口與數據縮放，並提供了基於LSTM時間序列分析的氣象預測數據，為氣象學者研究氣候學做出切實可行的嘗試，有利於對水電等重要資源進行合理規劃與調度。

數據模型

如表1-1，在天氣網導航頁中記錄了各個城市歷史天氣信息的網址索引鏈接。通過訪問導航頁面，採用xpath訪問./@href的值，獲得各個城市歷史信息的網址。

表1-1 擬爬取網頁信息表

如表1-2，訪問頁面獲取各個城市的數據，得到圖1中的歷史天氣信息表格，通過加註數據標籤設置省市名稱，備註網站URL，添加數據標籤轉存到csv文件中，並以省市名稱命名文件。 

圖1 網頁中歷史天氣數據信息

 程序中用到的城市天氣信息數據如表1-2。

表1-2 城市天氣信息數據採集表

軟件架構

如圖2，首先採用python網絡爬蟲技術獲取網頁數據信息，通過文本預處理，採用正則表達式提取城市信息、對日期信息進行數據類型轉換、此外將其他數據進行收集與文字編碼後存儲至csv文件中。通過訪問csv文件，將「天氣情況」數據使用逗號拼接為文本，而後調用jieba庫進行中文分詞、採用counter進行詞頻統計。

調用pyecharts實現中國城市地圖具象在網頁中，而後在每個城市對應控件後的value中存儲其url的值。對每個城市存儲在csv的信息進行動態可視化與詞雲圖繪製，實現line表和bar表的切換，同時設置對最高溫和最低溫的堆疊、平鋪功能切換，設置區域縮放以及窗口自調整功能。通過Page.SimplePageLayout布局形式將其居中顯示在網頁中間，更好地適應用戶使用以及屏幕大小的改變。

最後在map圖中添加鼠標響應，對value值進行調用，改變map中屬性的值實現每個城市控件的高亮顯示，以及通過window.open實現新窗口的打開。

圖2 軟件架構圖

採集策略與預處理模型

數據採集流程圖

圖3 數據採集流程圖

關鍵數據採集與預處理策略

 （1）通過xpath訪問ul結點，存儲每個結點下的HTML內容，然後同樣採用xpath爬蟲技術，通過url_head + city.xpath(‘./@href’) 的方式，獲得城市頁面的網址，然後記錄省市作為標籤，調用get_WeatherMessage方法獲取數據，此外調用time包，採用time.sleep的方式控制爬蟲速度，防止被網站服務器發現並停止爬蟲進程。

url_head = '//www.tianqishi.com'
    for i in tree.xpath("//div[@class='box p']/ul"):
        provinceName = i.xpath('./li[1]//text()')[0]
        for city in i.xpath('./li/a'):
            city_url = url_head + city.xpath('./@href')[0]
            city_name = city.xpath('.//text()')[0]
            get_WeatherMessage(provinceName, city_name, city_url)
        time.sleep(30)

（2）由分析的URL來分別爬取近90天全國各省市的天氣數據，包括日期時間、氣溫、天氣情況、風向、風力、日出、日落等六項數據，獲取到的數據會以指定格式存放。由於採用. CSV 文件能夠使數據交換更加容易，故採用 CSV的形式進行存儲[1]。使用open(fr’D:/dataSave/{provinceName}{city_name}.csv’, ‘a’, encoding=’utf-8′)創建文件並以省市命名csv文件以及sheet，將已讀取的數據列表以續寫的打開方式，採用編碼為utf-8寫入方便後續調用研究使用該數據。

for box in range(1, 90):
    data = city_tree.xpath(f"//tr[{box}]/td//text()")
    with open(fr'D:/dataSave/{provinceName}{city_name}.csv', 'a', encoding='utf-8', newline="") as writer:
        csv_write = csv.writer(writer, dialect='excel')
        csv_write.writerow(data)
    writer.close()
print('已完成對', city_name, '的爬取', '\n')

dirs = os.listdir('D:/dataSave')
for filename in dirs:
    path = 'D:/dataSave/' + filename
    city = re.findall(r"歷史天氣(.*?).csv", path)[0]
    data = pd.read_csv(path, encoding='utf-8')

    data['日期時間'] = data['日期時間'].apply(lambda x: pd.to_datetime(x, format="%Y%m%d"))
data['日期時間'] = data['日期時間'].dt.date

text = ""
for i in data['天氣情況']:
    text = text + ',' + i
words = [x for x in jieba.lcut(text) if x != ',']
words_count = Counter(words).most_common(40)

（3）通過調取數據表中「天氣情況」列數據進行文本分析，通過調用jieba庫實現中文分詞，而後採用counter庫進行詞頻統計，最後調用wordcloud生成詞雲圖，該圖表可以實現對近日天氣情況頻率的分析。此外利用網頁的優勢，添加了鼠標事件動態響應標籤，更好地補全了網頁展示的信息。

chart_46c9f11bad4044d2aa5bde8fd9fda973.on("click", function (params) {
    url ='file:///'+params.data.value;
    window.open(url);
    // window.location.href=url;    //更新窗口
});

相較最終版有省略

製作：BDT20040