利用Python爬取OPGG上英雄聯盟英雄勝率及選取率資訊
- 2020 年 3 月 15 日
- 筆記
一、分析網站內容
本次爬取網站為opgg，網址為：” http://www.op.gg/champion/statistics”
由網站介面可以看出，右側有英雄的詳細資訊，以Garen為例，勝率為53.84%，選取率為16.99%，常用位置為上單
現對網頁源程式碼進行分析（右鍵滑鼠在菜單中即可找到查看網頁源程式碼）。通過查找“53.84%”快速定位Garen所在位置
由程式碼可看出，英雄名、勝率及選取率都在td標籤中，而每一個英雄資訊在一個tr標籤中，td父標籤為tr標籤，tr父標籤為tbody標籤。
對tbody標籤進行查找
程式碼中共有5個tbody標籤（tbody標籤開頭結尾均有”tbody”，故共有10個”tbody”），對欄位內容分析，分別為上單、打野、中單、ADC、輔助資訊
以上單這部分英雄為例，我們需要首先找到tbody標籤，然後從中找到tr標籤（每一條tr標籤就是一個英雄的資訊），再從子標籤td標籤中獲取英雄的詳細資訊
二、爬取步驟
爬取網站內容->提取所需資訊->輸出英雄數據
getHTMLText(url)->fillHeroInformation(hlist,html)->printHeroInformation(hlist)
getHTMLText(url)函數是返回url鏈接中的html內容
fillHeroInformation(hlist,html)函數是將html中所需資訊提取出存入hlist列表中
printHeroInformation(hlist)函數是輸出hlist列表中的英雄資訊
三、程式碼實現
1、getHTMLText(url)函數
1 def getHTMLText(url): #返回html文檔資訊 2 try: 3 r = requests.get(url,timeout = 30) 4 r.raise_for_status() 5 r.encoding = r.apparent_encoding 6 return r.text #返回html內容 7 except: 8 return ""
2、fillHeroInformation(hlist,html)函數
以一個tr標籤為例，tr標籤內有7個td標籤，第4個td標籤內屬性值為”champion-index-table__name”的div標籤內容為英雄名，第5個td標籤內容為勝率，第6個td標籤內容為選取率，將這些資訊存入hlist列表中
1 def fillHeroInformation(hlist,html): #將英雄資訊存入hlist列表 2 soup = BeautifulSoup(html,"html.parser") 3 for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍歷上單tbody標籤的兒子標籤 4 if isinstance(tr,bs4.element.Tag): #判斷tr是否為標籤類型，去除空行 5 tds = tr('td') #查找tr標籤下的td標籤 6 heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名 7 winRate = tds[4].string #勝率 8 pickRate = tds[5].string #選取率 9 hlist.append([heroName,winRate,pickRate]) #將英雄資訊添加到hlist列表中
3、printHeroInformation(hlist)函數
1 def printHeroInformation(hlist): #輸出hlist列表資訊 2 print("{:^20}t{:^20}t{:^20}t{:^20}".format("英雄名","勝率","選取率","位置")) 3 for i in range(len(hlist)): 4 i = hlist[i] 5 print("{:^20}t{:^20}t{:^20}t{:^20}".format(i[0],i[1],i[2],"上單"))
4、main()函數
網站地址賦值給url，新建一個hlist列表，調用getHTMLText(url)函數獲得html文檔資訊，使用fillHeroInformation(hlist,html)函數將英雄資訊存入hlist列表，再使用printHeroInformation(hlist)函數輸出資訊
1 def main(): 2 url = "http://www.op.gg/champion/statistics" 3 hlist = [] 4 html = getHTMLText(url) #獲得html文檔資訊 5 fillHeroInformation(hlist,html) #將英雄資訊寫入hlist列表 6 printHeroInformation(hlist) #輸出資訊
四、結果演示
1、網站介面資訊
2、爬取結果
五、完整程式碼
1 import requests 2 import re 3 import bs4 4 from bs4 import BeautifulSoup 5 6 def getHTMLText(url): #返回html文檔資訊 7 try: 8 r = requests.get(url,timeout = 30) 9 r.raise_for_status() 10 r.encoding = r.apparent_encoding 11 return r.text #返回html內容 12 except: 13 return "" 14 15 def fillHeroInformation(hlist,html): #將英雄資訊存入hlist列表 16 soup = BeautifulSoup(html,"html.parser") 17 for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍歷上單tbody標籤的兒子標籤 18 if isinstance(tr,bs4.element.Tag): #判斷tr是否為標籤類型，去除空行 19 tds = tr('td') #查找tr標籤下的td標籤 20 heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名 21 winRate = tds[4].string #勝率 22 pickRate = tds[5].string #選取率 23 hlist.append([heroName,winRate,pickRate]) #將英雄資訊添加到hlist列表中 24 25 def printHeroInformation(hlist): #輸出hlist列表資訊 26 print("{:^20}t{:^20}t{:^20}t{:^20}".format("英雄名","勝率","選取率","位置")) 27 for i in range(len(hlist)): 28 i = hlist[i] 29 print("{:^20}t{:^20}t{:^20}t{:^20}".format(i[0],i[1],i[2],"上單")) 30 31 def main(): 32 url = "http://www.op.gg/champion/statistics" 33 hlist = [] 34 html = getHTMLText(url) #獲得html文檔資訊 35 fillHeroInformation(hlist,html) #將英雄資訊寫入hlist列表 36 printHeroInformation(hlist) #輸出資訊 37 38 main()
如果需要爬取打野、中單、ADC或者輔助資訊，只需要修改
fillHeroInformation(hlist,html)函數中的
for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children語句，將attrs屬性值修改為
"tabItem champion-trend-tier-JUNGLE"、"tabItem champion-trend-tier-MID"、"tabItem champion-trend-tier-ADC"、"tabItem champion-trend-tier-SUPPORT"等即可
