小進階:數據指標體系和數據治理的管理

  • 2019 年 10 月 4 日
  • 筆記

小進階:數據指標體系和數據治理的管理

關於作者:小姬,某知名互聯網公司產品專家,對數據採集、生產、加工有所了解,期望多和大家交流數據知識,以數據作為提出好問題的基礎,發掘商業價值。

0x00 前言

我將整理文章分享數據工作中的經驗,因為業務內容上的差異,可能導致大家的理解不一致,無法體會到場景中的諸多特殊性,不過相信不斷的溝通和交流,可以解決很多問題。上次我們分析了一下職場基本功,為什麼要重視需求質量,常見的數據需求文檔改怎麼寫。今天我們來就聊一聊上次文章中的一個重點關鍵字「數據指標體系」的周邊

歷史導讀:小訣竅:不妨嘗試從交付質量上打敗對手

以下,Enjoy:

0x01 為什麼要搭建指標體系

在《小訣竅:不妨嘗試從交付質量上打敗對手》我們提到過為什麼要搭建指標體系,相信大家在看數據相關招聘崗位簡介的時候,也經常看到有關搭建指標體系的要求,因此這裡簡單的給出兩點做指標體系的重要性。

  • 搭建穩定的數據觀測體系(維度指標體系),讓數據從生產到使用的整個流程更加標準、可靠;
  • 穩定的數據觀測體系,不僅能夠讓數據加工、使用的效率提升,還有利於統一認知,規範數據建設者的工作方法,解決數據維度/指標膨脹,數據不一致的問題,從而拉升內部的相關人員整體的數據專業水平。

如果大家仍然對搭建指標體系的作用和意義存在不同的看法和見解,希望繼續深入的溝通了解,歡迎評論留言或者加入我們的微信群聊共同交流。

0x02 怎麼搭建指標體系

我們先思考簡單的數據問題,這是我作為校招面試官經常會同大家溝通的一個案例。

  • 如果你現在成為一個產品項目的負責人,你想看到哪些數據指標,為什麼要分析這些數據指標?
  • 我們現在聚焦一下,從剛才列出的數據指標序列中選出x個指標,怎麼選,為什麼?

第1題考察點

  • 互聯網行業是否熟悉,能夠對行業的數據指標有多深的了解;
  • 基本的度量和效果評估意識,構建數據和商業業務的關係抽象能力。

備註:相信我,很多候選人連像樣的指標都回答不上幾個,更無法洞察數據和商業之間的關係。

第2題考察點

  • 有限的選擇下,是否有判斷主次的邏輯能力,針對自身的觀點和知識能否自我革新升華;
  • 更深層次的思考,為什麼要以更少的數據指標去判斷商業行為。

這個題目對於處於職場實際工作中的同行來說同樣具有考察需要,我們評估一個產品項目所需要的指標是越多越好,還是會存在其中一個適度的分界點(投入產出比的最大化)。

話題回到正題,怎麼搭建指標體系?

首先任何沒有管理或是數據指標系統的組織中,數據指標的需求形式都類似於第1題的樣式存在,團隊中不同的人擁有不同的度量單位和評估體系(即使這個人認識到第2題問題的存在,他自身的指標體系依然處於第1題)。

數據指標體系必須是搭建於組織或者一個團體的共識,讓整個組織和團體內的度量單位和評估體系,第1題是缺乏管理,肆意生產的野蠻方式。讓整個組織和團隊提升到第2題的水平達成一致才是數據指標體系。

  • 數據指標體系不是收集指標匯總起來,也不是將所有數據需求全覆蓋;
  • 數據指標體系是以最小的投入搭建科學的效果評估指標,讓組織和團隊達到統一認知的事情;

在《小訣竅:不妨嘗試從交付質量上打敗對手》我們提到過為什麼要搭建指標體系,我們將(「平台:枚舉值:全部、iOS、android、其他,例如web、TV歸為「其他」)重點看一下,在搭建指標體系過程中,我們將數據量較小的平台(web、TV)聚合,不在允許對類似數據的過度效果分析(不允許什麼都想要的態度)。

思考:人民幣中為什麼存在的是1元、5元、10元,2元錢的紙幣為什麼退出了歷史舞台。國際貨幣為什麼不能所有國家發行,美元的作用是什麼?

0x03 指標體系的評估標準

指標體系除了有科學的方法搭建,還會存在很多主觀的判斷。我們在搭建指標體系的時候,經常遇到的問題是為什麼大家要遵循這套指標體系,它的權威性怎麼得到保障。

  • 指標體系的搭建非常依賴領導的背書和強勢認可
  • 指標體系的搭建相對於提升團隊的全員水平,所以這不是簡單事
  • 指標體系也有生命周期,不斷的產品項目階段需要的指標體系不同

基於以上的幾點,指標體系的搭建方法論就很明確了,首先做到領導的認可(指標體系相當於和領導之間的一種協議),其次指標體系的宣貫傳播工作不可或缺,其次指標體系的內容需要長期的維護。從這三點我們可以梳理出一個目標的觀測值:

  • 基於領導的認可,指標體系是否解決領導提出的問題,問題的量化目標就是指標體系的目標
  • 提高全員的水平怎麼證明,問卷、考試、需求文檔的質量或引用、指標體系內容的訪問數據
  • 指標體系內容的更新頻次、更新數量,內容彙報

注釋:我認為最佳的期望是指標體系內容作為知識,沉澱於知識庫工具中。通過知識的訪問量,以及定義的測試來判斷指標體系價值。

0x03 指標體系的管理內容

數據指標的概念我們很多同學聽過,並且也經常看到招聘職位上的要求。但究竟指標體系的怎麼落地,包含什麼內容相信很少有人真實有過經歷。

我對指標體系的理解總體有這個幾個觀點:

  • 不同組織或者團體期望指標體系解決的問題一致,但落地的指標體系內容不同
  • 指標體系落地產物強依賴於業務,不同的業務存在不同的玩法
  • 指標體系多數情況下連同管理工具一起落地
  • 我認為當前的指標體系,均不能很高效的解決期望問題,我自己目前較為理想的方案也未實際執行

指標體系中的業務指標內容(簡版)

  • 指標名稱:意向UV // 名稱要保持唯一
  • 指標類型:基礎指標 // 指標的計算方式,直接計算生成,還是多個指標計算生成
  • 主題分類:流量主題 // 根據業務需要,對指標進行分類管理
  • 業務定義/指標口徑:意向頁面的訪問用戶數 // 對指標的定義描述,目前看這塊問題很多,歧義很多
  • 統計維度:平台,城市,版本,業務類型…… // 實際工作中會發現,統計的維度很多

指標體系中的指標技術內容(簡版)

  • 指標代碼:flow_intention_uv // 代碼要保持唯一,如果指標名稱業務內唯一,指標代碼要全系統唯一
  • 數據類型:bigint // 指標的存儲數據類型,數據倉庫中指標類型重要的不是很大
  • 數據計算模型:略 // 指標計算的SQL邏輯,實際工作中感覺問題很大
  • 字段名稱:intention_uv // 對應數據表或是取數邏輯中的字段名稱
  • 計算公式:count(intention_uv) // 實際工作中,閱讀理解還行,意義不大

以上為我們管理指標體系中的簡版內容,實際情況根據不同的業務需求,以及工具的搭配使用需要的內容會更多一點,基本上都是為了維護運營指標體系,更好的管理指標名稱和口徑定義。

我認為當前的指標體系,均不能很高效的解決期望問題,我自己目前較為理想的方案也未實際執行。以上述的指標內容為例存在很多問題,比如:

意向UV:意向頁面的訪問用戶數,在理解這個指標的時候需要存在一個前提條件,什麼是意向頁面。那麼就會涉及到一個意向頁面的概念,但是意向 頁面本身不作為指標內容被管理。意向頁面的定義「意向頁面為詳細介紹商品內容的頁面。又或者理解為:在當前頁面只需「1步」即可進入交易流程的頁面,為意向頁面。)」。

另外,數據計算模型:略 // 指標計算的SQL邏輯,實際工作中感覺問題很大。我們也會發現實際的工作當中,數據指標不會單獨出現,更多的時候是日期+維度1+維度2+……維度N+指標1+指標2+指標N的方式出現,數據的模型計算也是根據需求表頭設計搭建的。

除去以上兩個問題,指標體系的內容運營維護還會存在很多問題,這直接影響指標體系的搭建是否成功且實用。目前我所接觸的範疇內,以上的管理方式適合傳統企業的指標體系管理,在數據迭代速度快,多維分析強的互聯網領域並不能接受業務的調整。

我比較理想的管理方式(當前處於嘗試當中):

  • 搭建百科形式的知識庫,以知識庫管理指標體系,將指標的內容管理做成百科形式,不斷的積累內容,才有可能進行知識的普及實用價值,才有可能標準化。(指標百科是什麼東西,大家看一下「北京市」的百度百科即可,從不同的角度介紹北京,數據指標也應該有這樣的補充,介紹指標的業務背景,概念定義,相干關係,所需要的數據源等等)
  • 分類方式的改變,不能單純的以指標作為分類。應該以業務分組合,比如我們看PUSH消息的數據效果,應該逐漸的是建立PUSH消息應該看那些維度和指標,解決不同的同學對同樣業務存在不同的考量數據指標體系的問題。在搭建指標百科的同時建立數據效果監控整體的目標對齊,PUSH效果怎麼評估,是否可以標準的穩定下來同樣的一套數據,頁面怎麼效果評估,是否可以標準的穩定下來同樣的一套數據。

以理想的方式搭建指標管理內容,在我前面的文章《小訣竅:不妨嘗試從交付質量上打敗對手》中有提到,我們可以根據需求的類型做分類進行固化。

0x04 指標體系的管理工具

管理指標體系內容搭建的管理工具,我們通常將其和元數據管理放在一起。也可以看出元數據管理和指標體系管理很類似(元數據的管也存在指標體系同樣的問題),在管理指標體系內容的時候,基本涉及以下下幾塊內容:

  • 數據倉庫表管理 // 一般只涉及應用層數據
  • 數據指標管理 // 管理上面提到的指標內容,新增,編輯,刪除,狀態等
  • 數據維度管理 // 類似指標內容,新增,編輯,刪除,狀態等
  • 數據模型管理 // 管理指標或者數據表頭計算的模型,新增,編輯,刪除,狀態等
  • 數據應用服務管理 // 支持數據可視化,或者數據服務的方式,接口等
  • 數據權限管理 // 管理工具的權限運營維護

備註:指標體系的管理工具,須建立相關的運營維護流程。

當然,正如我幾次提到當前的指標體系內容的管理不理想的問題,這是很多人遇到的問題,我也在探索新的管理方式,後期我會單獨開篇文章總結以知識庫工具怎麼配合指標體系的大家。