使用Seq搭建免费的日志服务

Seq简介

Seq是老外开发的一个针对.NET平台非常友好的日志服务。支持容器部署,提供一个单用户免费的开发版本。

官网://datalust.co/seq

使用文档://docs.datalust.co/docs

Seq主体功能如下所示:

  1. 支持主流的编程语言,尤其对.NET非常友好

  2. 丰富的事件格式

    以结构化形式记录上文信息与应用程序事件,支持消息模板将文本数据与结构话数据无缝连接。下图中所有属性都是由使用者自定义的。

  3. 支持筛选语法和SQL查询,非常简单和灵活

    多种查询方式 -支持以SQL表达式查询,以及C#中的,==,!=,<,<=,内置StartsWith(),EndsWith()IndexOf()Contains(),并支持文本全文检索。

  4. 公开了内置字段和函数

  5. 支持仪表盘,可以自行创建和编辑图表

  6. 支持安装插件,插件可以使用.NET进行编写

  7. 支持发送邮件(通过插件)

  8. 支持团队操作

  9. 提供命令行客户端

  10. 支持健康检查(通过插件)

  11. 支持收集Docker日志

  12. 支持收集K8s日志

  13. 支持自定义警报和Webhook

部署到k8s

seq部署我们采用的是基于容器的部署,具体可以参考://docs.datalust.co/docs/getting-started-with-docker

腾讯云容器服务yaml配置如下所示:

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  annotations:
    deployment.kubernetes.io/revision: "1"
  generation: 1
  labels:
    k8s-app: seq
    qcloud-app: seq
  name: seq
  namespace: default
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s-app: seq
      qcloud-app: seq
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        k8s-app: seq
        qcloud-app: seq
    spec:
      containers:
      - env:
        - name: ACCEPT_EULA
          value: "Y"
        image: datalust/seq:latest
        imagePullPolicy: IfNotPresent
        name: seq
        resources:
          limits:
            cpu: 100m
            memory: 2024Mi
          requests:
            cpu: 10m
            memory: 256Mi
      imagePullSecrets:
      - name: qcloudregistrykey
      - name: tencenthubkey
      restartPolicy: Always
---
apiVersion: v1
kind: Service
metadata:
  name: seq
  namespace: default
spec:
  externalTrafficPolicy: Cluster
  ports:
  - name: 80-80-tcp
    nodePort: 31180
    port: 80
    protocol: TCP
    targetPort: 80
  - name: 5341-5341-tcp
    nodePort: 31181
    port: 5341
    protocol: TCP
    targetPort: 5341
  selector:
    k8s-app: seq
    qcloud-app: seq
  sessionAffinity: None
  type: NodePort

注意:其中主机端口分别为31180(对应80,用于公开Seq UI和Web Api)、31181(对应5341,用于公开Seq接收终结点的端口)。

一般情况,日志不重要的话,我们可以不进行持久化配置。如需持久化,仅需配置“/data”的映射即可。

使用

Seq对.NET Core支持非常友好,支持:

当然还支持其他语言以及其他的一些方式,比如RabbitMQ、GELF、Windows事件等等。接下来,我们以基于NLog集成为例:

安装包NLog.Targets.Seq

安装NLog.Targets.Seq NuGet包。例如,在Visual Studio程序包管理器控制台中,键入:

PM> Install-Package NLog.Targets.Seq

修改NLog配置文件

第一步,需要先添加刚安装的扩展程序集:

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="//www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="//www.w3.org/2001/XMLSchema-instance">

  <extensions>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>

然后需要定义规则:

 <targets>
    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000">
      <target xsi:type="Seq" serverUrl="//localhost:5341" apiKey="" />
    </target>
  </targets>
  <rules>
    <logger name="*" minlevel="Info" writeTo="seq" />
  </rules>

需要指定服务端接收端地址和ApiKey。接下来就可以直接使用了。

除此之外,我们还可以添加例如线程Id、机器名等属性,配置示例如下所示:

<target name="seq" xsi:type="Seq" serverUrl="//localhost:5341" apiKey="">
  <property name="ThreadId" value="${threadid}" as="number" />
  <property name="MachineName" value="${machinename}" />
</target>

 

NLOG配置说明

说明

官网://nlog-project.org/?r=redirect

配置和使用

//github.com/NLog/NLog/wiki/Getting-started-with-ASP.NET-Core-2
//github.com/NLog/NLog/wiki/Getting-started-with-ASP.NET-Core-3

参考配置

<?xml version="1.0" encoding="utf-8"?>

<nlog xmlns="//www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="//www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="Warn"
      internalLogFile="App_Data\Logs\nlogs.log"
      throwExceptions="true">

  <!-- 定义日志输出的根目录为web目录的上级目录 -->
  <variable name="logdir" value="${basedir}/App_Data/logs"/>

  <extensions>
    <add assembly="NLog.Web.AspNetCore"/>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>
  <targets async="true">
    <default-target-parameters
    type="File"
    archiveAboveSize="50485760"
    maxArchiveFiles="50"
    archiveNumbering="Rolling"
    keepFileOpen="false"
    layout="${date:format=HH\:mm\:ss\:ffff}:[${level}] ${callsite} ${onexception:${exception:format=tostring} ${newline}${stacktrace}${newline}"/>

    <!--屏幕彩色打印消息-->
    <target name="console" xsi:type="ColoredConsole"
            layout="${date:format=HH\:mm\:ss\:ffff}:[${level}] ${message}"/>

    <!--默认日志-->
    <target xsi:type="File" name="defaultLog" fileName="${logdir}/${level}/${shortdate}.log" layout="${date:format=HH\:mm\:ss\:ffff}: ${message} ${onexception:${exception:format=tostring} ${newline}${stacktrace}${newline}" />

    <target name="warnLog" xsi:type="File"
            fileName="${logdir}/${level}/${shortdate}.log"
            layout="${date:format=HH\:mm\:ss\:ffff}:  ${logger}${newline}${message} ${onexception:${exception:format=tostring} ${newline}${stacktrace}${newline}" />

    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000">
      <target xsi:type="Seq" serverUrl="//devlogs.yourdomain.com" apiKey="DRkZrdeDMZIXY0gzZGXB">
        <property name="ThreadId" value="${threadid}" as="number" />
        <property name="MachineName" value="${machinename}" />
        <property name="Environment" value="Development" />
        <!--https://github.com/NLog/NLog/wiki/Logger-Layout-Renderer-->
        <property name="Logger" value="${logger}" />
        <!--https://github.com/NLog/NLog/wiki/AspNet-Request-IP-Layout-Renderer-->
        <property name="IP" value="${aspnet-request-ip}" />
        <!--https://github.com/NLog/NLog/wiki/AspNetRequest-Url-Layout-Renderer-->
        <property name="Url" value="${aspnet-request-url:IncludeHost=true:IncludePort=true:IncludeQueryString=true:IncludeScheme=true}" />
        <property name="Code" value="${aspnet-response-statuscode}" />
      </target>
    </target>
  </targets>
  <rules>
    <logger name="*" minlevel="Trace" writeTo="seq" />
    <logger name="*" levels="Trace,Debug,Info" writeTo="console,defaultLog" />
    <logger name="*" minlevel="Warn" writeTo="console,warnLog" />
  </rules>
</nlog>

集成之后,我们就可以非常方便的在Seq的面板上看到各种日志和图表了。