CSDN用戶行為分析和用戶行為數據爬取

• 2019 年 10 月 30 日
• 筆記

爬蟲隨機從CSDN部落格取得800條用戶行為數據，包含用戶名、原創部落格數、評論數、瀏覽量，試著從部落格數，評論數，瀏覽量三個方面分析csdn的部落客們的形象。

原創部落格數

部落客們的原創部落格數並不是很多，50篇以下的佔了70%，0篇的就有35%。我沒有想到的是超過100篇原創部落格的部落客居然有21%，看來養成寫部落格習慣的人還是很多啊，原創部落格超過100，也不是什麼特別稀奇的情況。

評論數

有63%的部落客評論數少於10，27%的部落客評論數大於50。我部落格數在21%內，而評論也大於50在27%這個區間內，看來部落格數和評論數確實存在正比關係，及博文越多，評論越多。

瀏覽量

瀏覽量超過2w的有37%，超過10w的有27%，這數字開起來很大，但聯想到有30%的用戶部落格數過50，所以平均下來，一篇部落格應該有2000瀏覽量，這個可以再之後進行爬取數據做分析。

總結，對於養成寫部落格習慣的部落客來說，他們日積月累下來的部落格數量真的很多，瀏覽量也很多，是評論數並沒有很多。看來大家都是多看少評論，可能是太忙了吧。

拉取數據實現

存儲格式

用戶資訊包括用戶名，點擊量，評論數，原創部落格數，使用json文件存儲。

[{    "user_name":"",    "page_view":"",    "comment_count":"",    "blog_count":""  }]

通過me.csdn.new/用戶名頁面可以獲得關注和被關注用戶，同時還可以拿到點擊量，評論數，原創部落格數等數據。關注和被關注用戶列表用於做遞歸訪問。

--------------    --------------    ------------------  http請求個人主頁 --- 轉String去空格 --- 正則匹配拿數據，保存  --------------    --------------    ------------------        |                                   |        |                                   |        |       ----------------------      |        ----<-- 訪問關注用戶主頁，重複執行 <-----                ----------------------

源碼：https://github.com/programluo/csdn-tool ，PullCsdnUsers類。

注意，並不是所有的用戶都有me.csdn.net頁面，比如這個https://me.csdn.net/qq_41173121

將保存的json文件通過在線json轉excel工具轉成excel，進行統計畫圖分析，excel需要用到的函數有

COUNTIF(A2:A867,"=0")

統計A2 - A867這一列中，=0的數量

SUMPRODUCT((A2:A867>0)*(A2:A867<20))

統計A2 - A867這一列中，>0且<20的數量