python—爬取某鱼直播
- 2019 年 10 月 8 日
- 筆記
用了selenium，才深刻的体会到它的好处，更加的方便更加的快捷，更容易的获取网页的信息。
这里用selenium爬取某鱼直播下面的前五页的直播间信息，例如直播房间名，主播名，直播热度，以及直播的类别。即图片红色下横线的东西。首先进入斗鱼的页面，选择直播，接着复制url备用，然后就按F12去分析
做爬虫的步骤还是那样，先去原网页的地址找到数据的位置，接着提取出需要的数据，在整理起来，保存起来。
这里我获取的只有前5页的直播间信息。当然可以获取更多的内容。做爬虫只是为了方便统计以及数据的可视化，便于学习和观察，并不能做什么非法操作。主要目的都是为了学习。
用selenium爬取网页的坑就只有一两个：
第一：获取url后，需要等待个几秒，让网页充分缓冲之后才去提取网页的数据，这样才能提取到数据，否则就是一个框架，并不能得到有用的消息。
第二，如果要实现换页功能的话，需要将解析网页的语句也放入循环，不然也会报错
第三，就是用selenium的时候一定要匹配好单引号和双引号，在python的习惯下，字符串就一般使用单引号去用，而网页的数据是双引号的话也提取不到数据。
第四，换页操作的时候，选择正确的class名字至关重要
如果用浏览器的f12的选择的功能，他会定位到这里黑色下划线的地方，但是要实现换行要选择红色下划线的class名，才能实现。
关于用selenium去爬取的东西也没其他的了，详细的操作可以去这里看
下面贴一下代码，代码仅供参考，如若有错，欢迎指出：
from selenium import webdriver import time path = '这里是你的selenium的驱动的地址' url = 'https://www.douyu.com/directory/all' browser = webdriver.Chrome(executable_path=path) browser.maximize_window() browser.get(url) time.sleep(10) allzhibo = [] nnum = 0 page = 0 while page<1: li_list = browser.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li') num = 0 for i in li_list: zhibo = {} if num >=10: zhibo['数目'] = nnum num+=1 nnum+=1 zhibo['直播房间名'] = i.find_element_by_class_name("DyListCover-intro").text zhibo['主播'] = i.find_element_by_class_name("DyListCover-user").text zhibo['直播热度'] = i.find_element_by_class_name("DyListCover-hot").text zhibo['分类'] = i.find_element_by_class_name("DyListCover-zone").text allzhibo.append(zhibo) else: num+=1 nextpage = browser.find_element_by_class_name("dy-Pagination-next") nextpage.click() page+=1 time.sleep(10) #这里实现的是将数据保存到文本里去 with open('某鱼直播.txt','w',encoding='utf-8') as f: for i in allzhibo: for j in i.keys(): print(j+':'+str(i[j])+' ') f.write(j+':'+str(i[j])+' ') f.write('n') browser.close()
最后得到结果就是这样的：
然后可以对这些数据进行分类排序，就可以得到一些热度最高的直播间，或者是什么分类的直播间有那些的操作。
