爬取王者农药英雄全部信息， 长知识了！！！
- 2020 年 2 月 13 日
- 筆記
阅读本文需要5分钟
说起打王者农药， 本狗觉得该改名字了， 叫“菜狗”。哈哈！！！
老话说的好 ：“知己知彼， 百战不殆“， 为此， 本狗爬取了所有英雄的属性。由于数据太多， 本狗只选取了部分属性。
01
开发工具： python版本：3.6 相关模块： time，random， requests， json， csv
环境搭建: 安装python并添加到环境变量， pip 安装需要相关的模块
原理讲解： 下载软件王者荣耀盒子， 在下载一款抓包软件（后期会单独讲解）， 然后进行抓包分析每个英雄属性的URL， 以及URL里包含的关键参数。
抓包软件： Charles 官网：https://www.charlesproxy.com
Fiddler 官网： https://www.telerik.com/fiddler
02
英雄属性URL分析：
http://gamehelper.gm825.com/wzry/hero/detail?hero_id={}&channel_id=90009a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.4.0&version_code=13040&cuid=3B126F96F35A016D73291009CD5E50E6&ovr=8.0.0&device=Xiaomi_MI+5&net_type=1&client_id=N1JNAHycUGkyzWHhbS3kYg%3D%3D&info_ms=&info_ma=1AG%2BU5F%2BVgDIiztBezWnV0LgQU5N8mcv%2Bgn2XRGrrss%3D&mno=0&info_la=IeNdtn7WlOBNGeAcmWIiZg%3D%3D&info_ci=IeNdtn7WlOBNGeAcmWIiZg%3D%3D&mcc=0&clientversion=13.0.4.0&bssid=xRZNXKP64ftQFZayVWuBTVFMa1TEQfyLCH4LBeHllq8%3D&os_level=26&os_id=f1704e96b75006e4&resolution=1080_1920&dpi=480&client_ip=192.168.2.25&pdunid=a24bc615
吓傻了吧，一个英雄属性的URL就这么长， 但是， 经过本狗仔细分析， 只需要改变一个地方就好。当当当， 就是“hero_id”。
分析hero_id :
经过本狗多次测试， 发现它的范围在[1, 136], 但是， 中间有些值是没有属性的。经过解析json数据， 得到一个关键字 ‘error_code’
当 error_code == 0 时， 是有数据的
当 error_code != 0 时， 是无数据的
03
上代码：
- 防反爬的请求头部是必不可少的：
headers = { 'charset': 'UTF-8', 'Accept-Encoding': 'gzip,deflate', 'referer': 'https://servicewechat.com/wx5c8ee452674d1941/36/page-frame.html', 'content-type': 'application/x-www-form-urlencoded', 'User-Agent': 'Dalvik/2.1.0 (Linux; U; Android 8.0.0; MI 5 MIUI/V10.2.1.0.OAACNXM) ', 'X-Requested-With': 'XMLHttpRequest', 'Host': 'gamehelper.gm825.com', 'Connection': 'Keep-Alive' }
2 baseurl：
baseurl = 'http://gamehelper.gm825.com/wzry/hero/detail?hero_id={}' '&channel_id=90009a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.4.0&version_code=13040&cuid=3B126F96F35A016D73291009CD5E50E6&ovr=8.0.0&device=Xiaomi_MI+5&net_type=1&client_id=N1JNAHycUGkyzWHhbS3kYg%3D%3D&info_ms=&info_ma=1AG%2BU5F%2BVgDIiztBezWnV0LgQU5N8mcv%2Bgn2XRGrrss%3D&mno=0&info_la=IeNdtn7WlOBNGeAcmWIiZg%3D%3D&info_ci=IeNdtn7WlOBNGeAcmWIiZg%3D%3D&mcc=0&' 'clientversion=13.0.4.0&bssid=xRZNXKP64ftQFZayVWuBTVFMa1TEQfyLCH4LBeHllq8%3D&' 'os_level=26&os_id=f1704e96b75006e4&resolution=1080_1920&dpi=480&' 'client_ip=192.168.2.25&pdunid=a24bc615'
3 通过URL的分析开始构建新的URL:
data_list = [] for i in range(1, 137): url = baseurl.format(i) time.sleep(random.randint(1, 3)) response = requests.get(url, headers=headers).text time.sleep(random.randint(1, 3)) hero_info = json.loads(response)
4 获取部分信息， 并且添加到列表:
hero_info_ = {} error_code = hero_info.get('error_code') if error_code != 0: print('暂无英雄属性') else： hero_name = hero_info.get('info')['name'] hero_info_['姓名'] = hero_name hero_tips = ''.join(hero_info.get('info')['hero_tips']).replace('rn', '') # 对抗技巧 hero_info_['对抗技巧'] = hero_tips melee_tips = ''.join(hero_info.get('info')['melee_tips']).replace('rn', '') # 团战思想 hero_info_['团战思想'] = melee_tips restrained_heros = hero_info.get('info')['restrained_hero'] # 压制英雄 for restrained_hero in restrained_heros: restrained_heros_name = restrained_hero['name'] hero_info_['压制英雄'] = restrained_heros_name be_restrained_heros = hero_info.get('info')['be_restrained_hero'] # 被压制的英雄 for be_restrained_hero in be_restrained_heros: be_restrained_hero_name = be_restrained_hero['name'] hero_info_['被压制的英雄'] = be_restrained_hero_name partner_heros = hero_info.get('info')['partner_hero'] # 搭档英雄 for partner_hero in partner_heros: partner_hero_name = partner_hero['name'] hero_info_['搭档英雄'] = partner_hero_name data_list.append(hero_info_)
5 保存入库 （csv文件）:
header = ['姓名', '对抗技巧', '团战思想', '压制英雄', '被压制的英雄', '搭档英雄'] with open('英雄特征.csv', 'w', encoding='gbk', newline='')as f: writer = csv.DictWriter(f, header) writer.writeheader() writer.writerows(data_list) print("第%d个英雄" % i, hero_info_)
04
运行效果图：
部分保存效果图：
这部分属性对于本狗来说， 足够了解英雄的啦， 有机会，可以开一把黑！！ 需要源代码和数据的 回复 【王者农药】 2019-5-18 测试正常
