一篇來自10年數據總監關於數據分析師的理解
- 2020 年 2 月 10 日
- 筆記
本文作者為數據海洋,海洋老師從一個數據分析師成長為管理過近百人的數據團隊的負責人,這中間總結了不少經驗,也踩了不少坑,現在他把這些分享出來,希望可以幫助到大家。總共有三篇,本篇為第一篇,主要寫了數據分析師的入門需要的基本的知識,邏輯,工作方法。
1.了解數據分析師
數據分析師是企業在未來10年內最重要崗位之一,也許再過幾年,對任何企業中的80%的崗位,都要求掌握數據分析能力。為什麼?從幾個層面簡單來說:
1.1在行業層面:
在大數據時代下,互聯網、移動互聯網與各個行業的結合,以及未來即將到來的物聯網,各個企業面臨的競爭壓力越來越大,面對越來越快的用戶需求變化,都需要基於數據來快速做出決策,決策的回饋越來越快。基於經驗的回饋不是不重要,還是非常重要。但是現在是一個追求速度、追求快速迭代的時代,不管是個人與企業,能把經驗+數據結合的人才也許是未來真正需要的。
1.2在企業層面:
在現在這個大數據時代下,對各種數據的獲取與處理已不是問題,2019年開始,很多企業都在說修鍊內功,如何修鍊內功,我想這個內功心法就是:「企業數字化」。
1.3在個人層面:
每個人都在企業工作中都會收到各種各樣的數據,面對這些數據,你必須具備的能力是知道怎麼處理,怎麼解讀,怎麼分析數據,怎麼去開展工作,你需要基於相關的數據與分析!可以回答:
現在業務的問題是什麼? 為什麼要制定這個計劃要,改善與優化什麼數據指標? KPI目標如何實現,你的計劃分別是什麼? 如何提升各個環節的效率? 做個數據分析報告,看怎麼開展下一步工作? ……
2.數據分析師的價值是什麼
回到一個公司,數據分析師主要幹什麼的呢?數據分析師主要的價值體現在哪些方面,這是我幾年前給數據分析師下的定義,現在看來非常適應。
數據分析師是從數據的角度,使用一定的方法與工具,對數據進行加工處理,結合商業場景進行結構化分析。幫助公司相關業務部門監控、定位、分析、解決商業問題,從而幫助公司業務部門高效決策,提升經營效率,發現業務機會點,讓企業取得持續競爭優勢。
例如,在企業內部,數據分析師經常回答這些問題:
發生了什麼,發生的頻率是怎麼樣的? 為什麼會發生?現在應該採取什麼樣的行動? 如何提升用戶活躍度? 未來的趨勢是什麼? 是否錯過了生意機會點? ……
坦白說,能理解這段定義,基本也知道數據分析師應該幹什麼,也知道數據分析師要具體什麼樣的能力了。
基於以上,數據分析師也必須深刻理解「數據是數據分析師的武器」。數據分析師要「懂數據」,什麼叫「懂數據」,同時大家都說數據分析師要懂業務,數據分析師「懂數據」要分二個層面:
2.1數據來源
數據是在哪個業務場景產生的,是對應什麼樣的業務動作。怎麼理解?例如:在外賣這個場景中,配送開始時間是當配送員點擊配送記錄;配送結束時間是當配送員送到後點擊配送結束。當你知道這個數據產生場景的時候,你就針對這個場景,要設計統計某個數據指標應該怎麼計算:
該外賣單配送時長=配送結束-配送完成
當你以這個指標去衡量,作為一個很重要指標衡量外賣配送服務的時候,可以與配送設定目標相比,例如:希望是30分鐘送到,那就這個值與30分鐘比;或者說與顧客預約時間上限相比:配送結束時間小於顧客預約時間上限;當定義好這個數據指標:分析師就要基於這個相關數據以這個數據指標為方向,不斷優化數字。
2.2數據品質。
當以這個指標作為KPI,很容易會導致對數據「造假」。配送員遲點開始配送,或者是提前核銷配送結束,以保證這個數值達到KPI目標。這裡就是我們提到的第二個層面,數據品質問題。
該數據存在於哪個資料庫,哪個表。需要知道數據存在哪,你要按上面的邏輯去加工,就需要一定的工具,往往是SQL是第一步處理;第二步可能需要更深入需要用到統計方法或者機器學習模型,往往要掌握一門工具,現在比較流行是Python。
小提示:
如果一個數據分析師,在你自己的企業內部,你能這樣去「懂數據」,你會發現你工作就是圍繞幾個核心的「數據指標」開展,你也很清楚自己的價值是什麼。
3.數據分析師的工作是怎樣的
數據分析師的工作是怎樣的,可以通過這個問題來回答:「海洋老師您好,目前轉行在乙方坐數據分析。公司流程原因,沒有機會接觸業務,工作就像人工取數機,顛覆了我對數據分析的認識,而且自己認為只取數沒有成長,而且沒有任何價值。對下一份工作比較迷茫,想去業務想關的,但是不知道方向,謝謝海洋老師。」
這個情況,可能是甲方通過工單或者需求描述提個需求給你,叫你從資料庫中提取數據,按要求來進行。往往就是要求保證按他的邏輯,或者他的定義來實現。
可能碰到的問題,就是數據提取的反覆;往往可能是業務沒有描述清楚導致;當然也有可能是你對底層表不熟悉,或者業務不熟悉在寫SQL的時候或者構建報表的時候邏輯不對。
這個不僅僅在乙方,在甲方也許也有過之而無不及。有處理不完的數據需求,有處理不完的報表需求,哪有時間去思考業務?哪些時間去分析業務?哪些時間去了解業務?
我的成長經驗分享:這都是借口
- 對團隊新人,我之前說過;你每天抽1個小時,半個小時時間自己去思考:
為什麼業務給你提這個數據需求? 他提這個數據需求到底解決什麼問題?
你和提需求最多的業務夥伴有沒有1對1溝通過。很多時候,約著一起吃飯,帶著請教的問一下需求方,需要我們支援什麼?你們現在主要的業務問題是什麼?態度好一點,謙虛一點,當你服務一段時間後,你這樣溝通會得到很多業務資訊。
- 難道你真的007了嗎?
你對公司的業務,你面對的業務方都足夠熟悉了嗎? 每月你有去體驗一下公司的產品,公司的服務流程嗎? 你每月有花錢購買公司服務,從用戶角度去思考問題嗎? 你有花時間,看你每天提取數據的表,對應業務哪個環節嗎? 相關的環節的衡量的數據指標是什麼? 業務最想提升哪些指標? 如果你是業務你會怎麼辦?
思維導圖記錄下來,寫下你的思考;提個數據看看。
- 你沒有去關注些行業公眾號或者相關網站,去看看同個行業的人是說什麼,在幹什麼。雖然很多分享與演講是最好的,所以一般是分享的最佳實踐,也許不一定人家已經完成最佳實踐了,但說明人家在路上,你也知道行業是什麼樣子的。
看完行業的文章,有沒有結合一下。看看自己公司,自己做到大概是什麼程度;對比是為了找到差距,不是抱怨,別人都做的那麼牛了,我們還在「原始社會」。對比是為了:看到別人的方向是什麼,為自己或者團隊提供參考。
對著別人的內容,我們可以參考做一做;基於看到的內容,如果自己要做好,自己能力上或者條件上是否還有欠缺。
了解業務有很多方法,比如:
- 自己主動去實踐業務流程;把業務流程與數據產品串上進心來。
- 主動去找業務方或者這個行業的人請教,構建好與業務的關係不管是甲乙都是核心;你是幫助他解決問題,如果你態度不是很差,願意謙虛一點,大多時候都願意;
- 往行業的最佳實踐看看,當然其它行業也是可以參考。數據架構,數據分析思考,數據價值實現與傳遞其實都是通的,就像下一部分要說的數據工具與方法一樣,這是通用的。
成長經驗分享:
能幫助企業解決問題,才是你作為一個數據分析師價值的關鍵。業務同學不關心你的掌握了什麼技能,會用什麼方法。更關注是不是你和說的內容和描述的需求,提出的問題,你能理解,你能和他交流的來(用現在的詞來說叫同頻),他會覺得你懂業務。和你交流或者問題回饋給你應該是靠譜,有希望的。
4.數據分析工具與方法
對於數據分析方法與工具,是大多數據分析師或者很多人評估一個數據分析師是否有「技術」。你會使用hive,會spark,會python,我懂各種大數據工具,我懂各種機器學習模型。這個非常非常重要,但是可能相對來說:
你理解這些工具用來幹什麼。用來解決什麼問題,可能更重要;
每個工具要完全精通,可能需要花費很多時間,很多時間;所以我比較建議大家掌握工具最常用的內容。然後在實際工作中,結合自己需要用到的內容來「干中學」;
如果你對這個感興趣又有時間,例如:python爬蟲我可以很感興趣,所以我去學習這個技術,以及如何實現。在實際工作中,發現未來也有可能用到,像這種在有時候去學習。把學習好的內容可以寫個學習筆記,寫個文章總結下來;
給中國統計網打個廣告,可以在上面開通個專欄,寫點內容;一來方便自己查詢;二來分享給其它同學,別人看到文章好,可能會提出很多好問題,也促進你自己進一步學習和別人討論!這是一個非常好的學習方法。
成長經驗分享:
我之前也花有很多時間去學習各種工具,R語言與python,SQL的各種技巧,excel各種技巧,但發現學習後很多不用就忘記了。其實學習的初心,就覺得學習會這些就很牛B的,就可以找到非常好的工作!成長下來:這是一個必要條件,而非充分條件。我學習的時候非常喜歡把學習筆記,自己的思考寫下來。核心就是為了自己回過頭去看看,去思考,去對比現在與當時。我寫的內容當時主要為自己看,當然順便也幫忙一些小夥伴。 SQL+EXCEL+PYTHON是必備要掌握的工具,SQL是核心,怎麼強調都不過分。因為大多數據都數據處理都還是通過寫SQL程度來完成,這個SQL語言不僅是在關係型資料庫,而且現在各種大數據工具都會有SQL引擎,例如:hive,sparksql,clickhouse等都支援寫SQL完成。 EXCEL就不用說了,就用於完成最後一公里;把EXCEL的做圖,透視表,相關函數重點掌握了,一些特定的小技巧,碰到的搜索一下應該都能解決。當然看到一些小技巧也可以記錄下來放到自己部落格中,也方便查找。 Python 現在是未來要做統計,爬蟲,機器學習,一些複雜數據處理邏輯必備的工具,所以有空我建議可以去學習;但是PYTHON非常大,還是建議先學習基礎,有基礎後結合實際工作中來用,不然會「雲里霧裡」。
5.小結
希望各位同學把碰到的問題或者想和我交流的案例,歡迎留言。我們來看看下面一個案例收尾:
目標:我也是數據分析師,我的目標是:提升閱讀量與好看量;
策略:歡迎小夥伴回復與我討論!希望順便點個「好看」,轉發轉發!
評估:等待本篇數據與留言,看如何優化!