.Net Core with 微服務 - Seq 日誌聚合 - ⎝⎛CodingNote.cc ⎞⎠

.Net Core with 微服務 – Seq 日誌聚合

2021 年 6 月 24 日
筆記
.NET Core, microservice

上一次我們介紹並演示了如果使用 Consul 做為我們微服務的註冊中心，來實現服務的註冊與發現。那麼本次我們講會演示如何做日誌聚合。日誌聚合比較常用的有 ELK 等，但是這次我想要介紹的是一款比較小眾的日誌聚合工具 – Seq 。

日誌聚合

日誌是我們寫程式離不開的一個東西。在我們排查問題的時候日誌就是我們的救命稻草。我們的每個服務都在不停的生產日誌。但是實施微服務後，如果按照傳統的寫本地文件的日誌方案，顯然會面臨跟修改配置一樣麻煩的境地。不同的日誌分散在各個伺服器、容器內，這種情況下查日誌簡直是生不如死。
日誌聚合組件為我們解決了這個問題。所有的服務通過介面發送日誌到聚合服務，再由聚合服務進行統一存儲，並且提供統一的查詢、分析的能力。
日誌聚合組件業界有 ELK、Exceptionless、Seq 等。

Seq

Seq 是一款使用現代化技術構建的結構化日誌存儲，查詢，分析工具。比起 ELK 這種組合要輕量級許多。只需要一個安裝包就具有數據存儲，查詢，圖表分析功能。它對 windows 友好，直接提供了安裝包。當然也可以使用 docker 來部署。Seq 對於單個用戶是免費的，這對於一些小團隊並沒有什麼問題。Seq 一個比較強大的功能是提供了類似 Sql 語句的數據查詢及處理能力，使得用戶可以直接寫 Select from 來得到自己想要的數據。

seq 的 dashboard 頁面。

seq 的查詢介面。
seq 網址

使用 docker 安裝

docker run --name seq -e ACCEPT_EULA=Y -p 8900:80 -p 5341:5341 datalust/seq

使用 docker run 運行一個實例。8900 綁定容器的 80 埠，該埠是 web 管理介面的入口。5341 綁定容器的 5341 埠，該埠是日誌寫入時候真正的埠。

使用 docker-compose 安裝

  seq_server:
    image: datalust/seq
    restart: always
    container_name: seq_server
    hostname: seq_server
    environment:
      - ACCEPT_EULA=Y
    ports:
      - 8900:80
      - 5341:5341

把上面的 docker 命令改寫成 docker-compose 命令。
安裝好 seq 之後，我們訪問一下 //localhost:8090 如果管理後台出現說明我們安裝成功了。

NLog 集成 Seq

seq 安裝成功之後，我們可以開始跟 asp.net core 項目進行集成了。這裡採用 Nlog 日誌組件進行演示，如何跟 seq 集成。

點擊「API KEYS」、「ADD API KEY」彈出新增 API KEY 介面。

我們可以在這個介面為每個服務指定一個 APIKEY 當寫入 Seq 的是用來區分服務。填寫 title 資訊，選擇具有的許可權，還可以自定義一些屬性，這些屬性會附加到每個日誌記錄上。比如我們這裡為 member_center 這個 apikey 自定義一個 app = member_center 的屬性。

Install-Package NLog.Targets.Seq

nuget 安裝 Nlog 的 Seq 擴展。

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="//www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="//www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="info"
      internalLogFile="logs/internal-nlog.txt">

  <extensions>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>
  <!-- the targets to write to -->
  <targets>

    <!-- write to the void aka just remove -->
    <target xsi:type="Null" name="blackhole" />

    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000"  >
      <target xsi:type="Seq" serverUrl="//192.168.18.164:5341" apiKey="vuRYxr8bMXuvKNbwVNUp">
        <property name="ThreadId" value="${threadid}" as="number" />
        <property name="stacktrace" value="${onexception:inner=${stacktrace}}"/>
      </target>
    </target>
  </targets>

  <!-- rules to map from logger name to target -->
  <rules>
    <!--Skip Microsoft logs and so log only own logs-->
    <logger name="Microsoft.*" minlevel="Trace" writeTo="blackhole" final="true" />

    <logger name="*" minlevel="Trace" writeTo="seq" />
  </rules>
</nlog>

在項目根目錄添加一個 nlog.config 的 xml 配置文件。添加一個 seq 的 target ，在這個 target 上填寫 serverUrl（seq的服務地址），apiKey。

        public static IHostBuilder CreateHostBuilder(string[] args) =>
            Host.CreateDefaultBuilder(args)
                .ConfigureWebHostDefaults(webBuilder =>
                {
                    webBuilder.ConfigureKestrel(options =>
                    {
                        options.ListenAnyIP(6003);
                    });
                    webBuilder.UseStartup<Startup>();
                })
                .UseNLog();

在 Program 文件的 CreateHostBuilder 方法最後追加 UseNLog 調用。

    [ApiController]
    [Route("[controller]")]
    public class TestController : ControllerBase
    {
        private readonly ILogger _logger;

        public TestController(ILoggerFactory loggerFactory)
        {
            _logger = loggerFactory.CreateLogger<TestController>();
        }

        [HttpGet("TestLogSeq")]
        public string TestLogSeq()
        {
            _logger.LogTrace("this is a test log for trace level .");
            _logger.LogDebug("this is a test log for debug level .");
            _logger.LogInformation("this is a test log for info level .");
            _logger.LogWarning("this is a test log for warning level .");
            _logger.LogError(new Exception("this is a ex for seq log ."), "this is a test log for error level .");

            return "ok";
        }
    }

添加一個 TestController 編寫一個 TestLogSeq 方法，在這裡打一些日誌。

我們訪問一下這個介面，打開 seq 的站點可以看到我們的日誌已經寫到 seq 裡面了。

查詢

我們的服務每天都會產生數以萬計的日誌，現在把所有服務的日誌都聚合在一起，那數量就更加龐大。在海量日誌中查找需要的日誌，顯然變得很困難。
還好 Seq 帶有強大的查詢功能。我們可以像在資料庫里查詢那樣，使用 Sql 語句來進行查詢。
下面演示幾個查詢例子：

like 查詢

@Message like '%init%'

查詢日誌消息裡帶有 init 關鍵字的日誌

2. = 查詢

@Level = 'Error'

查詢日誌級別為 Error 的日誌。

app = 'hotel_base'

查詢所有 hotel_base 服務的日誌。

3. 聚合函數

select count(1) from stream group by @Level

按日誌級別分組，統計每個級別的數量。

以上簡單的演示了幾個查詢方案，Seq 的查詢相當的強大，具體請查考官方文檔：the-seq-query-language

總結

通過以上內容，我們簡單的演示了 Seq 日誌聚合工具的安裝、與.net core 進行集成，查詢日誌等功能。Seq 雖然比起 ELK 比較冷門，但是最近跟一些朋友交流下來，發現很多朋友都開始使用 Seq 來做為日誌聚合工具了。這也說明 Seq 確實有一定的實力，大家不妨一試。

項目地址

//github.com/kklldog/myhotel_microservice

NET Core with 微服務 – 什麼是微服務
 .Net Core with 微服務 – 架構圖
 .Net Core with 微服務 – Ocelot 網關
 .Net Core with 微服務 – Consul 註冊中心

關注我的公眾號一起玩轉技術

Tags: .NET Core microservice