PowerDotNet平台化軟體架構設計與實現系列（11）：日誌平台

2021 年 12 月 31 日
筆記
architecture, System, 服務, 架構, 系統, 經驗, 設計

所有後端應用幾乎都會記錄日誌，日誌系統可以統一抽象出來提供服務。

最近被Log4j2的安全漏洞刷屏了，作為開發人員的我只能咩哈哈幾次表示日誌處理太難了，只有折騰過的人才知道這裡面的艱辛啊。

在實現PowerDotNet日誌系統之前，參考調研了Flume、ELK、Scribe和kafka的日誌解決方案，對比後最終選擇Facebook的日誌系統Scribe作為目標，實現了基於thrift協議（當然也支援http協議）無鎖且非同步的更高性能簡潔而穩定的可擴展日誌系統Power.XLogger。

本文講講PowerDotNet內置的日誌平台系統。

環境準備

1、（必須）.Net Framework4.5+

2、（必須）MySQL或SqlServer或PostgreSQL或MariaDB或MongoDB或ElasticSearch

3、（必須）PowerDotNet資料庫管理平台，主要使用DBKey功能

4、（必須）PowerDotNet配置中心Power.ConfigCenter

5、（必須）PowerDotNet註冊中心Power.RegistryCenter

6、（必須）PowerDotNet基礎數據平台Power.BaseData

7、（必須）PowerDotNet快取平台Power.Cache

8、（必須）PowerDotNet消息平台Power.Message

9、（必須）PowerDotNet人員管理平台Power.HCRM，後續文章詳細介紹

一、Scribe簡介

Scribe是Facebook開源的日誌收集系統，它能夠從各種日誌源上收集日誌，存儲到一個中央存儲系統（可以是NFS，分散式文件系統等）上，以便於進行集中統計分析處理。

Scribe為日誌的「分散式收集，統一處理」提供了一個可擴展的高容錯的方案。

Scribe從各種數據源上收集數據，放到一個共享隊列上，然後push到後端的中央存儲系統上。

當中央存儲系統出現故障時，Scribe可以暫時把日誌寫到本地文件中，待中央存儲系統恢復性能後，Scribe把本地日誌續傳到中央存儲系統上。

Scribe主要包括三部分，分別為Scribe Agent， Scribe和存儲系統。

1、 Scribe Agent

Scribe Agent實際上是一個thrift client。向Scribe發送數據的唯一方法是使用thrift client， Scribe內部定義了一個thrift介面，用戶使用該介面將數據發送給server。

2、Scribe

Scribe接收到thrift client發送過來的數據，根據配置文件，將不同topic的數據發送給不同的對象。Scribe提供了各種各樣的store，如 file， HDFS等，Scribe可將數據載入到這些store中。

3、Store

Scribe中的Store也就是我們所理解的存儲系統，當前Scribe支援非常多的Store，包括：

file（文件）

buffer（雙層存儲，一個主儲存，一個副存儲）

network（另一個Scribe伺服器）

bucket（包含多個 store，通過hash的將數據存到不同store中）

null(忽略數據)

thriftfile（寫到一個Thrift TFileTransport文件中）

multi（把數據同時存放到不同store中）

二、日誌存儲

PowerDotNet的日誌平台設計借鑒了Scribe，也支援從各種數據源上收集數據，放到一個共享隊列上，然後push或pull到後端的中央存儲系統上。

不過考慮到不同的應用場景，這個共享隊列被設計成動態可配置的日誌容器，容器可以是主流的幾種消息隊列（RabbitMQ、MSMQ、RocketMQ、Kafka等），redis，本地快取等。

當存儲系統出現故障時，PowerDotNet也會把日誌「消息」暫時（序列化）寫到本地文件中，待存儲系統恢復性能後，再把本地日誌（反序列化）續傳到中央存儲系統上。這種日誌記錄容錯思想其實比較簡單直白，非常容易理解。

PowerDotNet內置的日誌存儲媒介（也就是中央存儲系統）包括MongoDB、MySQL、MariaDB、PostgreSQL、SQLServer和ElasticSearch，也給Exceptionless和ELK預留了介面，後續開發考慮把Hive也加進去，畢竟對於日誌系統而言，大數據量處理和較為完善的分析工具鏈是極其重要的參考指標。

在創建後端應用的時候，配置中心會自動分配一個記錄日誌的DBKey，默認為PostgreSQL，但是個人在公司里碰到的更多的是使用MongoDB或者ElasticSearch或者ELK。