原創 | 使用wireshark+python郵件服務製作出自己的私人新聞助手
- 2020 年 3 月 26 日
- 筆記
前言
爬蟲這麽火爆，那麽我們如何獲得一些比較不錯手機APP中的數據呢？今天就來教下大家使用Wireshark進行手機抓包，當然方法是通用的，不論你是Fidder還是其他的抓包軟體都可以。
wireshark 是一款非常強大的開源免費的網路封包分析軟體，使用它可以捕獲各種網路封包，顯示封包的詳細資訊。 wireshark 是一款電腦軟體，如何使用它來捕獲手機網路數據呢？ wireshark 的抓包原理是使用 WinPCAP 作為介面，直接與網卡進行數據報文交換。我們只需要讓手機通過電腦網卡傳輸數據即可，當然其他軟體的話也是一樣需要在同一個網路下才可以！！如果你是蘋果手機可能需要安裝證書請在通用設置中確認。這裡主要講解Android的抓包過程。
1.我使用360wifi使手機和電腦網路達到互動有無
360 免費 wifi 可以使用筆記型電腦的無線網卡創建一個 wifi 熱點 ，手機連接該 wifi 即可使用電腦網路上網。 連接之後，打開我們的 wireshark 開始抓包，馬上用手機盒子點擊資訊，讓它刷新新聞列表
這個時候就可以看到抓包工具有協議進行傳輸，有人可能會問360WIFI是什麼鬼！因為本來是要設置IP地址進行抓包的，但是我用360wifi就相當於電腦手機公用一個IP這樣的話就避免了設置IP地址的麻煩
第一條數據內容是：
GET /apiNewsList.php?action=c HTTP/1.1rnHost: box.dwstatic.comrn
我們可以使用瀏覽器嘗試訪問這個 url，看看是不是我們需要的數據：
格式是 json 的，經過 usc2→ansi 轉碼後：
[{"type":"newsWithHeader","tag":"headlineNews","name":"頭條"},{"type":"news","tag":"newsVideo","name":"影片"},{"type":"news","tag":"upgradenews","name":"賽事"},{"type":"album","tag":"beautifulWoman","name":"靚照"},{"type":"album","tag":"jiongTu","name":"囧圖"},{"type":"album","tag":"wallpaper","name":"壁紙"}]
發現這個是盒子新聞頂部導航欄的一些分類，並不是我們要找的新聞列表數據，那麼繼續分析下個數據包：
GET /apiNewsList.php?action=l&newsTag=headlineNews&p=1 HTTP/1.1rnHost: box.dwstatic.comrn
嘗試訪問這個 url：
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1
得到數據經過解析和格式化後：
{ "totalRecord": "11225", "totalPage": 449, "data": [ { "id": "23727", "title": "17 日測服：新增五款皮膚插畫 ", "content": "9 月 17 日測服：新增五款全新皮膚插畫 ", "weight": "64", "time": "1442456005", "readCount": "76977", "ymz_id": null, "photo": "http://m1.dwstatic.com/mbox/article_img/shouji_ac75a4c4f67a7983455c6bdebd67a611.jpg", "artId": "23727", "commentSum": "111", "commentUrl": "1509/306410856768&aid=23727&uniqid=b84ebe1a9e890dbe418dbb5b551ff291&gochannel=lol", "hasVideo": 0, "destUrl": "http://box.dwstatic.com/unsupport.php?lolboxAction=toNewsDetail&newsId=23727", "type": "news" }等後面的我就不列舉
沒錯了，正是我們所需要的數據。
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1
這個就是LOL盒子中新聞列表的數據資源。
同理如果你想要抓什麼軟體只需呀像我這樣一步步搜索檢索出URL就可以啦。
那麽會Python的同學只需要使用Python做一些數據清洗可以使用requests爬區鏈接並且坐下簡單處理就可以啦，則可以完美的把自己想要的資源進行獲取到了！當然不知道大家有沒有忘記之前我們說的企業網站解決方案在哪裡我們提供了如何使用寶塔面板，這個時候我們就可以使用上了！
面板右側有一個叫做計劃和任務，這個可以自動執行程式腳本，我們把寫好的Python程式上傳到伺服器上面，打開計劃任務可以設定他每天自動執行
這些資訊都設置好點擊保存編輯，點擊執行進入日誌，看一看是不是正常執行
當然這個時候你的郵箱可能會收到一個神秘的郵件就是你用Python整理後的文檔喲，每天定時發就是你自己私有的文檔助手！完美！
什麼？你問我如何用Python給自己郵箱發送郵件！！
