我爬了《流浪地球》十萬個短評得出以下結論

  • 2019 年 12 月 9 日
  • 筆記

前言

最近大家討論最多的就是《流浪地球》了，偶爾刷逼乎，狗血的事情也是層出不窮，各種撕逼大戰，有興趣的小夥伴可以自行搜索。

截止目前，《流浪地球》已上映20天，累計票房43.94億，豆瓣評分7.9分。部落客是正月初七看的，票價有點小貴，整體效果還算可以，雖然劇情有點尷尬，各種鏡頭切換有時候看的稀里糊塗，但還是給了豆瓣四星好評。

爬取

逼乎上很多高手，對《流浪地球》在豆瓣的評分做了細思縝密的分析，有興趣的也去自己搜索，這裡主要是爬取《流浪地球》的好、中、差短評並分詞分析。

爬取數據：

import os  import requests  import codecs  from bs4 import BeautifulSoup    # 給請求指定一個請求頭來模擬chrome瀏覽器  global headers  headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',  'cookie': 'network→www.douban.com→headers查看cookie'}  server = 'https://movie.douban.com/subject/26266893/comments'  # 定義存儲位置  global save_path  save_path = os.getcwd()+"\Text\"+'短評_好評.txt'  global page_max  page_max = 25  global comments  comments = ''      # 獲取短評內容  def get_comments(page):      req = requests.get(url=page)      html = req.content      html_doc = str(html, 'utf-8')      bf = BeautifulSoup(html_doc, 'html.parser')      comment = bf.find_all(class_="short")      for short in comment:          global comments          comments = comments + short.text      # 寫入文件  def write_txt(chapter, content, code):      with codecs.open(chapter, 'a', encoding=code)as f:          f.write(content)      # 主方法  def main():      for i in range(0, page_max):          try:              page = server + '?start='+str(i*20)+'&limit=20&sort=new_score&status=P&percent_type=h'              get_comments(page)              write_txt(save_path, comments, 'utf8')          except Exception as e:              print(e)      if __name__ == '__main__':      main()

最終發現，每個類型只能查詢出 500 條短評，後面就看不到了，不知道是否豆瓣有意而為之給隱藏了，哈哈哈原來是沒登錄導致的(headers 設置下 cookie 就可以)。最後讀了一下好評文本居然有40MB，不過最終還是按照500條取樣。

# 好評500條，中評500條，差評500條，自行更換 percent_type 參數即可。  # https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=h  # https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=m  # https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l

分析

使用結巴中文分詞第三方庫來進行高頻分析：

import jieba  import os    txt = open(os.getcwd()+"\Text\"+"短評_差評.txt", "r", encoding='utf-8').read()  words = jieba.lcut(txt)  counts = {}    for word in words:      if len(word) == 1:          continue      else:          counts[word] = counts.get(word, 0) + 1    items = list(counts.items())  items.sort(key=lambda x: x[1], reverse=True)    for i in range(0, 10):      word, count = items[i]      print("{0:<6}{1:>6}".format(word, count))

前十好評高頻出現辭彙：

前十中評高頻出現辭彙：

前十差評高頻出現辭彙：

前十高頻辭彙分析基本沒有任何參考價值，基本就是科幻、地球、特效、電影，這些都是電影的基本元素，其它的都是一些中性辭彙。

然後，我們分析了11-30的高頻辭彙，提取了部分關鍵詞：

好評：

結論：國產希望好萊塢科幻煽情大片。大家注意一下，前三十高頻辭彙只出現了劉慈欣的名字，並沒有出現吳京的名字。

中評：

結論：總體來說還算中肯，不知道為啥會出現三星？原諒我沒有讀過原著，原來是《三體》中"三恆星"系統。

差評：

結論：既然是一星差評，肯定是一黑到底，劇情尷尬、台詞尷尬、剪輯尷尬、吳京尷尬，相比於好評中高頻出現的原著作者劉慈欣，應該有大部分吳京黑粉。

總結

逼乎上有人做了詳細的統計分析，同類評分電影中，小破球的一星佔比出奇的高。不管是意識形態還是商業利益，《流浪地球》註定要被美分狗和《戰狼》PTSD 患者往死里整。《流浪地球》的評價問題已經不僅僅是一部電影的問題。

有興趣的小夥伴可以獲取源碼，自行爬一下：https://gitee.com/52itstyle/Python

Tags:

VirMach 便宜 VPS