（数据科学学习手札80）用Python编写小工具下载OSM路网数据
- 2020 年 3 月 27 日
- 笔记
本文对应脚本已上传至我的
Github仓库https://github.com/CNFeffery/DataScienceStudyNotes
1 简介
我们平时在数据可视化或空间数据分析的过程中经常会需要某个地区的道路网络及节点数据，而OpenStreetMap就是一个很好的数据来源（譬如图1柏林路网）：
通常我们可以在 https://www.openstreetmap.org/export 中选择矩形区域内的路网矢量数据进行下载，但这种方式对选择区域的大小有一定限制，想获取较大范围区域的路网数据并下载比较费事；而另一种方式是事先下载已经整合好的大区域的文件，譬如在 http://download.geofabrik.de/ 中提供了各大洲、国家等大范围的数据整合包，可以花费一定时间将其下载下来，再在需要哪些小区域时在本地GIS软件或编程工具中裁剪下所需的范围路网，但这种方式一是对电脑资源要求较高，譬如中国范围路网信息shapefile文件大小达到了800多兆，二是OSM的路网信息不定期更新之后，要想及时跟上最新数据，就需要人工持续下载数据。
为了更加灵活自由，且即时地获取最新版本的OSM路网，我们可以利用Python，来编写脚本工具方便快捷地检索或下载OSM可以识别出的各个级别行政区对应的矢量格式数据。
2 基于Python的OSM路网下载
2.1 工作流程
编写这个工具灵感来源于 https://anvaka.github.io/city-roads/?q= 这个网站：
用户通过输入指定城市的名称并检索，等待数据资源加载完成之后就可以在网页中看到渲染好的城市路网，以重庆为例：
通过对该网站进行抓包和源码分析，我弄明白了其工作流程大致如下：
-
Step1：
根据用户输入的城市名称，利用OSM官方的API进行模糊匹配，获取可能的对象列表：
-
Step2：
用户点击选择正确的区域，后台js对其所对应的id信息进行变换，再通过网站自带的API获取对应的
.pbf格式数据，或overpass的API获取JSON格式的矢量数据。
-
Step3：
渲染路网：
了解了上述步骤之后，我们利用requests、geopandas等库仅用不到100行代码就可以参考上述过程，提取所需的shapefile或GeoJSON文件保存到本地，具体的代码部分本文不做详细说明，我将这部分功能封装到文章开头对应Github仓库下的OsmDownloader.py（https://github.com/CNFeffery/DataScienceStudyNotes/blob/master/（数据科学学习手札80）用Python编写小工具下载OSM路网数据/OsmDownloader.py ）中，可以自行去下载并使用，下面我们来学习如何在Python中使用它。
2.2 使用方式
按照上文所述的地址下载对应脚本之后（请提前安装完成requests、geopandas、pandas以及tqdm这几个三方库），记住其所在路径，接着在其他脚本开头导入模块部分添加：
import sys sys.path.append(r'所在路径') from OsmDownloader import OsmDownloader 这样才能成功导入没有在Python中注册过的独立模块，接下来我们来下载数据，只需要两行代码即可完成对单个行政区路网数据的下载，以成都市为例：
# 单个地区路网下载 downloader = OsmDownloader(area='成都市') # area参数控制检索的行政区，请尽量准确填写 downloader.download_shapefile(path='保存路径') # path参数控制文件保存的路径 程序运行后稍等片刻即可完成下载（具体的耗时取决于你的网络状况），譬如这里我花了不到20秒就完成成都市路网数据的下载：
保存下来的数据线图层与点图层分开保存：
如果你想要下载保存JSON格式的数据，换成downloader.download_geojson(path)即可，而如果你想要批量下载多个地区的数据，结合for循环即可，如下例：
# 多个地区路网下载 area_list = ['北京市', '重庆市江北区', 'Tokyo', 'Boston', '台湾省'] for area in area_list: downloader = OsmDownloader(area=area) downloader.download_shapefile(path='保存路径') 等待一段时间后，我们area_list里多个不同级别行政区的路网数据便下载完成：
如果担心中途网络连接原因导致中断，可以结合Python中的错误捕捉机制来进行相对应的处理，比较简单这里就不再赘述。
以上就是本文全部内容，对脚本获取或使用有疑问的可以留言告诉我。
