rsyslog日誌總結

2021 年 3 月 6 日
筆記

rsyslog日誌總結

一 rsyslog介紹

syslogd被rsyslog取代

將日誌寫入資料庫可以利用模組和插件控制輸入輸出

rsyslog程式管理本地和遠程日誌

安裝軟體

根據需求修改配置文件

啟動服務

測試驗證

日誌：
歷史事件：時間，地點，人物，事件
日誌級別：事件的關鍵性程度，Loglevel
系統日誌服務：
sysklogd :CentOS 5之前版本
syslogd: system application 記錄應用日誌
klogd: linux kernel 記錄內核日誌
事件記錄格式：
日期時間主機進程[pid]: 事件內容
C/S架構：通過TCP或UDP協議的服務完成日誌記錄傳送，將分布在不同主機的日誌實現集中管理

rsyslog特性：CentOS6和7
多執行緒
UDP, TCP, SSL, TLS, RELP
MySQL, PGSQL, Oracle實現日誌存儲
強大的過濾器，可實現過濾記錄日誌資訊中任意部分
自定義輸出格式
ELK：elasticsearch, logstash, kibana
非關係型分散式資料庫
基於apache軟體基金會jakarta項目組的項目lucene
Elasticsearch是個開源分散式搜索引擎
Logstash對日誌進行收集、分析，並將其存儲供以後使用
kibana 可以提供的日誌分析友好的 Web 介面

二系統日誌文件介紹

日誌格式文本日誌/二進位日誌/資料庫日誌

常見日誌文件

/var/log/boot.log 系統引導日誌，記錄開機啟動資訊

/var/log/dmesg 核心的啟動日誌（硬體相關）

/var/log/messages 系統的日誌文件

/var/log/maillog 郵件服務的日誌

/var/log/xferlog ftp服務的日tmp志

/var/log/secure 網路連接及系統登錄的安全資訊

/var/log/cron 定時任務的日誌

/var/log/wtmp 記錄所有的登入和登出 last -f 查看

/var/log/btmp 記錄失敗的登入嘗試

三:日誌級別

# man   syslog
日誌資訊分為以下級別，從上到下級別依次降低
none       不算是一個等級,它表示不記錄服務的所有資訊
0  emerg      系統不可用
1  alert      特別留意的報警資訊
2  crit       非常嚴重的狀況
3  err        錯誤資訊
4  warning    警告資訊
5  notice     稍微要注意的資訊
6  info       正常資訊
7  debug      調試資訊，開發人員使用

四.日誌配置

1.日誌定義相關符號

配置文件中常見的表示符號
.       <---  用來分隔服務和級別
*       <---  任何服務，或者任何級別
=       <---有等號表示等於某一級別，沒有等號表示或者等於某一級別   mail.=info
mail.info
!       <---  排除操作,前面有相同服務的表達式,這個操作才有意義
        代表從前面表達式所包含的內容中排除某些內容
;     <--- 用於分隔不同的服務，級別組合
cron.=info;mail.info
,     <--- 用於分隔不同的服務   cron,mail.=info
-     <--- 用於指定目標文件時,代表非同步寫入          -/var/log/maillog

舉例:

cron.err  0123
cron.=info  6
cron.!=info 0123457
mail,cron,ftp=err  3
cron.info;cron.!err
0123456    4567
456  #取交集
mail.info;mail.!=err
0123456    0124567
012456 #取交集

配置文件詳解

/etc/rsyslog.conf    rsyslog日誌的主配置文件
/etc/rsyslog.d/*.conf    rsyslog日誌的輔助配置文件
/var/log/        日誌文件的目錄
cat /etc/rsyslog.conf    
*.info;mail.none;authpriv.none;cron.none                /var/log/messages  
#記錄所有服務產生的日誌,除了mail/驗證/任務計劃相關日誌都記錄/
authpriv.*         /var/log/secure 
telnet  ssh  設備載體

#記錄所有跟驗證有關日誌資訊               mail.*             -/var/log/maillog                   #記錄所有跟郵件有關日誌資訊                    
cron.*               /var/log/cron
#記錄所有跟任務計劃有關日誌資訊  
*.emerg               :omusrmsg:*
#把所有級別為emerg的資訊發送給所有登錄到系統上的用戶
uucp,news.crit      /var/log/spooler
local7.*           /var/log/boot.log
#記錄所有跟啟動相關的日誌

1.修改sshd的配置文件
vim /etc/ssh/sshd_config
SyslogFaclity local1


2.修改rsyslog程式的配置文件
vim /etc/rsyslog.conf
*.info;mail.none;authpriv.none;cron.none;local1.none
authpric.*;local1.none
local1.*
3.重啟服務測試驗證

總結:

本地日誌管理：服務的日誌和系統的日誌

服務日誌:

1.服務本身可以做管理自己的日誌,比如ftp服務。----->服務的配置文件，vsftpd.conf

2.使用rsyslog程式管理服務的日誌。rsyslog.conf--->日誌設備載體.info /var/log/ftp.log

五遠程日誌管理

目的:把多台伺服器的日誌遠程記錄到其中一台日誌伺服器集中化管理，方便對其統一分析和管理；

需求:

將ssh服務的日誌遠程記錄到日誌管理伺服器上保存

環境準備

ssh-server 10.1.1.250(管理端)

log-server:10.1.1.1

ssh-server:10.1.1.3

client:10.1.1.2

思路:

1.在ssh-server上將ssh服務的日誌單獨記錄

2.在ssh-server上通過修改rsyslog.conf文件來將本地ssh服務日誌遠程傳送到log-server伺服器上

3.在log-server上打開514埠等待客戶來傳送日誌

4.測試驗證

步驟:

ssh-server
1.在日誌伺服器端完成以下事情
1)安裝rsyslog文件
rpm -qa rsyslog
2)在log-server上打開514埠
vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
systemctl  restart rsyslog
netstat -tnulp|grep 514
2.在ssh-server上將ssh服務的日誌單獨記錄
修改sshd的配置文件
vim /etc/ssh/sshd_config
SyslogFaclity local1
1)ssh服務的日誌載體定義為local1
2)刪除原來的本地保存
#local1.*                         /var/log/sshd.log
local1.* @@10.1.1.1:514
第一個@代表UDP協議傳送;@@代表tcp協議傳輸
3)重啟rsyslog服務
systemctl  restart rsyslog
useradd stu1
echo  123|passwd --stdin stu1

日誌輪轉

日誌輪轉介紹

日誌輪換
logrotate 日誌輪換的工具
日誌存放的地方： /var/log/*

常見的日誌文件：
/var/log/messages
/var/log/wtmp
/var/log/btmp

輪換工具的配置文件： /etc/logrotate.conf

/var/log/wtmp { <---需要輪換的日誌的據對路徑
monthly <---採用每個月輪換一次的設定
minsize 1M <----日誌輪換的時候日誌文件必須不少於1M，儘管輪換的時間到了，如果文件達不到1M也不去輪換
create 0664 root utmp <----新建的日誌文件許可權是什麼？擁有者是誰，組是誰？
rotate 1
}

size 512k <---儘管輪換的時間還沒到，如果日誌文件達到512kb，也進行輪換

對ssh服務日誌進行輪轉

要求:

1.每天進行輪轉，保留5天的日誌文件

2.日誌文件大小大於5M進行輪轉,不管是否到輪轉周期

思路:

修改logrotate程式的主配置文件或者在/etc/logrotate.d/目錄創建一個文件

步驟:

log-server
vim /etc/rsyslog.conf
local1.*                         /var/log/sshd.log
#local1.* @@10.1.1.1:514
find /var/log -type f -exec rm -f {} \;
find /var/log/ -type f -delete
systemctl restart rsyslog
方法1:修改主配置文件
vim /etc/logrotate.conf
...
/var/log/sshd.log {
daily
rotate 5
size 5M
}
測試驗證
logrotate -f /etc/logrotate.conf

方法2:創建子配置文件
vim /etc/logrotate.d/sshd
/var/log/sshd.log {
missingok
daily
rotate 5
size 5M
}
nodateext   //不以日期作為後綴
find /var/log/ -type f -delete
systemctl restart rsyslog
logrotate -f /etc/logrotate.conf

對FTP服務日誌進行輪轉

要求：

1.每個月輪轉1次，保留一個月的日誌

2.日誌文件大小超過500M不管有沒有到輪轉周期必須輪轉

3.如果日誌文件不存在也不報錯

思路:

1.首先得在當前系統中有ftp服務的日誌

ftp服務自己本身管理日誌（/var/log/xferlog）

交給rsyslog程式管理(vsftpd.conf--->syslog_enable=YES;設備載體默認是FTP);rsyslog.conf

----->ftp.* /var/log/ftp.log

log-server
yum install vsftpd -y
systemctl restart vsftpd
systemctl enable vsftpd
vim /etc/rsyslog.conf
ftp.*                                     /var/log/ftp.log
vim /etc/vsftpd/vsftpd.conf
lftp localhost
vim /etc/logrotate.d/vsftpd
添加
/var/log/ftp.log {
missingok
monthly
rotate 1
size 500M
}
logrotate -f /etc/logrotate.conf

Tags: