搞半天,全國34個省份包含灣灣\香港\澳門的高德poi興趣點23類數據終於爬完事了
1.技術架構:
python+阿里雲資料庫mongodb5.0+高德地圖rest api
2.成本:
阿里雲資料庫mongodb5.0一個月話費1k多
2.遇到的問題
1)兩個阿里雲帳號下 mongodb5.0雲資料庫在同步時候,不能使用阿里雲DTS,請大家注意,要買就買低版本的，不然無法做大數量同步。
2)高德api有調用限制，實名認證也就能調用30000次。需要網上buy別人封裝的企業介面，一天成本幾十,
3)灣灣數據沒有cityname,沒有所屬地市,如高雄市，就寫個灣灣省。
4)高德api返回數據有重複的，估計是網格分割後，poi點落在正方形的邊界了。下面是核心去重程式碼,查出重複_id list,對list切片，剩下一個，其他刪除。
3.最終成果：
每個包含23類 ‘汽車服務’, ‘汽車銷售’, ‘汽車維修’, ‘摩托車服務’, ‘餐飲服務’, ‘生活服務’, ‘體育休閑服務’, ‘醫療保健服務’, ‘住宿服務’, ‘風景名勝’, ‘商務住宅’, ‘政府機構及社會團體’, ‘科教文化服務’, ‘交通設施服務’, ‘金融保險服務’, ‘公司企業’, ‘道路附屬設施’, ‘地名地址資訊’, ‘公共設施’, ‘事件活動’, ‘室內設施’, ‘通行設施’, ‘購物服務’。
3.最終成果：
34個省份csv，每個包含23類 ‘汽車服務’, ‘汽車銷售’, ‘汽車維修’, ‘摩托車服務’, ‘餐飲服務’, ‘生活服務’, ‘體育休閑服務’, ‘醫療保健服務’, ‘住宿服務’, ‘風景名勝’, ‘商務住宅’, ‘政府機構及社會團體’, ‘科教文化服務’, ‘交通設施服務’, ‘金融保險服務’, ‘公司企業’, ‘道路附屬設施’, ‘地名地址資訊’, ‘公共設施’, ‘事件活動’, ‘室內設施’, ‘通行設施’, ‘購物服務’。
有需要 qq：6686496 交流。
