使用Python爬取知乎上的高顏值小姐姐

「你見過的有些人能漂亮到什麼程度?」

爬取鏈接

原問題在這兒你見過的有些人能漂亮到什麼程度?

爬取思路

使用Python爬蟲爬取這個問題下的高贊照片。

  1. 爬蟲爬了下這個問題下的高贊照片。在欣賞小姐姐的美照之前,我們先來分享一下思路。
  2. 通過知乎回答的url,先把回答一頁一頁的爬下來,存到本地資料庫。隨後從資料庫里讀取數據,篩選出高贊的回答,把回答里的圖片解析出來。

函數解析

def get_answers_by_page(page_no):      offset = page_no * 10      url = "<answer url>&offset={}&limit=10&sort_by=default&platform=desktop".format(offset)      headers = {          "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",      }      r = requests.get(url, verify=False, headers=headers)      content = r.content.decode("utf-8")      data = json.loads(content)      is_end = data["paging"]["is_end"]      items = data["data"]      client = pymongo.MongoClient()      db = client["beauty"]      if len(items) > 0:          db.answers.insert_many(items)      return is_end    def get_answers():      page_no = 0      client = pymongo.MongoClient()      while True:          print(page_no)          is_end = get_answers_by_page(page_no)          page_no += 1          if is_end:              break    def query():      client = pymongo.MongoClient()      db = client["beauty"]      items = db.answers.find({"voteup_count": {"$gte": 100}}).sort([("voteup_count", pymongo.DESCENDING)])      count = 0        for item in items:          content = item["content"]          vote_num = item["voteup_count"]          author = item["author"]["name"]          matched = re.findall(r'data-original="([^"]+)"', content)          print("> 來自 {}n".format(item["url"]))          print("> 作者 {}n".format(author))          print("> 贊數 {}n".format(vote_num))          img_urls = []          for img_url in matched:              if img_url not in img_urls:                  print("![]({})".format(img_url))                  img_urls.append(img_url)          count += len(img_urls)          print("nn")      print(count)

get_answers_by_page – 這個函數用於獲取一頁的回答內容,獲取的內容會存到本地MongoDB里 get_answers – 這個函數用於獲取所有頁的內容,它會調用上面的函數,循環獲取每一頁的內容 query – 這個函數用於從MongoDB里查詢數據,篩選高贊回答,並且把結果列印出來

如果要完整的運行這個項目,大家可以下載源程式碼後,在本地運行。 運行項目後,程式會篩選出所有贊數大於100的回答,並且把回答里的圖片整理出來。贊數越高的回答,小姐姐的顏值越高。

源碼下載

源碼下載