服务器日志 之 rsyslog和logrotate 概念介绍

1 概述

系统日志是记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。

学会查看并管理日志是运维管理人员必备技能。本文将对日志进行相关概念介绍,并介绍日志的软件logsyslog和日志存储管理软件logrotate进行介绍

2 日志介绍

.日志:

历史事件:时间,地点,人物(程序),事件

日志级别:事件的关键性程度,Loglevel

.系统日志服务:

.sysklogd:CentOS 5之前版本

syslogd: system application记录应用日志

klogd: linuxkernel记录内核日志

.事件记录格式:

日期时间  主机   进程[pid]:事件内容

.C/S架构:通过TCP或UDP协议的服务完成日志记录传送,将分布在不同主机的日志实现集中管理

rsyslog

.rsyslog特性:用于CentOS6和7

.多线程

.UDP, TCP, SSL, TLS, RELP

.MySQL, PGSQL, Oracle实现日志存储

.强大的过滤器,可实现过滤记录日志信息中任意部分

.自定义输出格式

.ELK介绍

ELK:elasticsearch, logstash, kibana

ELK是专业记录和管理日志,适合于大型的环境

.非关系型分布式数据库

.基于apache软件基金会jakarta项目组的项目lucene

.Elasticsearch是个开源分布式搜索引擎

.Logstash对日志进行收集、分析,并将其存储供以后使用

.kibana可以提供的日志分析友好的Web界面

.术语介绍

术语解释可以查看man  logger,以下对主要的术语进行介绍

.facility:设施,从功能或程序上对日志进行归类

每个应用程序有自己的特点,所以不同程序,记录成不一样的格式

软件都是rsyslog,不同软件接口都是一样的,通过对软件进行分类,已经定义不一样的日志level,记录成不一样的格式

facility(程序)分类有如下几种

auth, authpriv, cron,daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, local0-local7,syslog.

local0-local7表示定制,开发者自定义的软件类别,自己归类。

其中记录相关的日志需要加载相应的模块:rpm -ql rsyslog | grep .*\.so这个可以查看rsyslog这个软件安装产生的相关模块

.Priority定义记录日志的优先级别,日志缓冲区的每一行文本开头具有级别标记,级别值越小则优先级越高.有8个级别

默认是info级别,一般的重要事件,其中,记录日志对时间的要求很高,

debug, info, notice, warn(warning),err(error), crit(critical), alert, emerg(panic)

系统定义了8个消息级别,级别号从0到7分别为:

0: emerg:致命级(KERN_EMESG)

1: alert:警戒级(KERN_ALERT)

2: crit:临界级(KERN_CRIT)

3: err:错误级(KERN_ERR)

4: warning:告警级(KERN_WARN)

5: notice:注意级(KERN_NOTICE)

6: info:通知级(KERN_INFO)

7: debug:调试级(KERN_DEBUG)

.参看帮助:man 3 syslog

.程序包:rsyslog

.主程序:/usr/sbin/rsyslogd

.CentOS 6:service rsyslog {start|stop|restart|status}

.CentOS 7:/usr/lib/systemd/system/rsyslog.service

.配置文件:/etc/rsyslog.conf,/etc/rsyslog.d/*.conf

.库文件:/lib64/rsyslog/*.so

.配置文件格式:由三部分组成

MODULES:相关模块配置

GLOBAL DIRECTIVES:全局配置

RULES:日志记录相关的规则配置

.RULES配置格式:

facility.priority;facility.priority…target

target:表示日志记录的文件

facility.priority表示设备.等级,可以同时定义多个设施的不同等级到同一个文件里,用分号隔开。

.facility:

*:所有的facility

facility1,facility2,facility3,...:指定的facility列表

.priority:

*:所有级别

none:没有级别,即不记录

PRIORITY:指定级别(含)以上的所有级别

=PRIORITY:仅记录指定级别的日志信息

.target:

文件路径:通常在/var/log/,文件路径前的-表示异步写入

异步写入表示写写入内存,后续在写入日志

同步写入表示系统一发生变化就可写

用户:将日志事件通知给指定的用户,*表示登录的所有用户

日志服务器:@host,把日志送往至指定的远程服务器记录

管道:|COMMAND,转发给其它命令处理

3  主要日志介绍

./var/log/secure:系统安全相关的日志,文本格式,应周期性分析。

包含验证和授权方面信息。例如,sshd会将所有信息记录(其中包括失败登录)在这里。当有其他机器通过ssh访问时,会记录成功或者失败的相关日志。

./var/log/btmp:当前系统上,用户的失败尝试登录相关的日志信息,专门用来记录失败登录的日志,二进制格式,

lastb命令进行查,lastb这个命令是专门用来打开查看btmp这个文件的

./var/log/wtmp:当前系统上,用户正常登录系统的相关日志信息,二进制格式,last命令可以查看

last命令,专门用来查看成功登录的日志,last是打开wtmp这个文件的,其中,日志的systemboot是指开机时间。

uptime也可以用来查看距离最近一次开机有多长时间。

./var/log/lastlog:每一个用户最近一次的登录信息,二进制格式,lastlog命令可以查看,仅记录系统中所有用户的最近一次登录的时间

./var/log/dmesg:系统引导过程中的日志信息,存放本次计算机启动的日志,文本格式,文本查看工具查看即可,专用命令dmesg查看/var/log/dmesg的内容

./var/log/messages:系统中大部分的信息

./var/log/anaconda : anaconda的日志,安装操作系统时记录的日志,centos6上没有独立的目录,只有/var/log/anaconda.*的记录log,在centos7上将这些日志统一放在/var/log/anaconda这个目录下。

4  Logrotate日志存储

logrotate系统里的程序,可以实现日志的滚动,防止日志太大,导致系统性能太小。

.logrotate程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,称为日志转储或滚动。可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过cron程序来执行,计划执行的任务写在/etc/cron.daily/logrotate这个文件里

.配置文件是/etc/logrotate.conf

.配置文件主要参数如下

.compress通过gzip压缩转储以后的日志

.nocompress不需要压缩时,用这个参数

.copytruncate用于还在打开中的日志文件,把当前日志备份并截断,truncate保留表的结构,把数据清空

.nocopytruncate备份日志文件但是不截断

.create mode owner group转储文件,使用指定的文件模式创建新的日志文件

.nocreate不建立新的日志文件

.delaycompress和compress一起使用时,转储的日志文件到下一次转储时才压缩

.nodelaycompress覆盖delaycompress选项,转储并压缩

.errors address专储时的错误信息发送到指定的Email地址

.ifempty即使是空文件也转储,是缺省选项。

.notifempty如果是空文件的话,不转储

.mail address把转储的日志文件发送到指定的E-mail地址

.nomail转储时不发送日志文件

.olddir directory转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统

.noolddir转储后的日志文件和当前日志文件放在同一个目录下

.prerotate/endscript在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行

.postrotate/endscript在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行

.daily指定转储周期为每天

.weekly指定转储周期为每周

.monthly指定转储周期为每月

.size大小指定日志超过多大时,就执行日志转储

.rotate count指定日志文件删除之前转储的次数,0指没有备份,5指保留5个备份,达到5份日志后,把旧的日志删掉,最多只会保留最近的5个日志

.Missingok如果日志不存在,提示错误,是一个报警

.Nomissingok如果日志不存在,继续下一次日志,不提示错误

5  例子

在配置文件/etc/rsyslog.conf文件写入如下的配置,相关介绍如下

例一记录message日志

以下配置*.info表示info级别以及比info级别高的程序的log都记录到/var/log/messages,none表示mail,authpriv,cron这三个软件的日志不记录到/var/log/messages里

*.info;mail.none;authpriv.none;cron.none            /var/log/messages

例二不同facility记录同一等级

如果是多个设施的同一等级记录到同一日志文件里,那么多个设施间可以用逗号隔开,例子

uucp,news.crit                        /var/log/spooler

例三发送消息

给所有的人都发送emerg日志消息,有两个写法,

centos 7上

*.emerg                        :omusrmsg:*

其中omusrmsg是一个模块,表示emergency级别的日志都会给所有人发消息

centos 6上

*.emerg                          *

这里的星号或者是omusrmsg这两个关键字,也可以用账号代替,只将特定的log发送给特定的人发送消息,如下例子,发送local2的日志是,给root和sunny两个人发log

local2.*                      root,sunny

例四 自定义日志

记录特定软件的日志,可用设置local0--local7来记录,其中,local7默认用来记录计算机启动的日志例子

local7.*                             /var/log/boot.log

例五 定义软件facility

软件要定义那种facility,这个是在软件的配置文件中定义,如ssh的配置文件/etc/ssh/sshd_config中,定义了把ssh归类到AUTHPRIV的facility里,如下

#SyslogFacility AUTH

SyslogFacility AUTHPRIV

而在日志的配置文件/etc/rsyslog.conf中,把AUTHPRIV这中类型的facility定义记录的log是/var/log/secure,如下

# The authpriv file has restricted access.

authpriv.*                      /var/log/secure

因此,有关ssh这个软件的log就会被记录到文件/var/log/secure里

这里如果要修改ssh软件日志的记录的文件,可以自己定义,如在ssh的配置文件/etc/ssh/sshd_config中将该软件的facility定义为local2

SyslogFacility  local2

#LogLevel  INFO  #表示记录info级别以及以上的log

然后在日志的配置文件/etc/rsyslog.conf,把定义local2这个facility的log为/var/log/sshd.log,这样就可以实现自己定义log文件了,例子

local2.*       /var/log/sshd.log

这里如果不在配置文件里定义软件的facility,可以在软件的配置文件里,自己调用log模块,并且自己定义long的格式和存放的路径,当然,这个是要相对成熟或者大型的软件,如http,在配置文件里调用了log_config_module这个模块,自己定义了log的记录格式。http的log滚动也是调用了lograte来实现,滚动的配置文件放在了/etc/logrotate.d/httpd里。

例六测试

测试log是否正常记录,可以用logger这个工具,man logger查看帮助,例子

logger  -p local2.info  "This is a test  log"

6  总结

本文仅对日志的概念和管理软件rsyslog,日志存储软件logrorate进行介绍。日志也可以通过网络几种存储在一台log服务器上.关于如何部署,请查看作者的博客 服务器日志  之  一键部署log服务器。

推薦閱讀更多精彩內容

  • Rsyslog服务简介 Rsyslog是syslog的升级版本, 其在RHEL5的版本中, 名称为syslog.在...
    魏镇坪閱讀 3,177評論 0 4
  • 了解日志文件是很重要的事情。日志文件可以记录系统在什么时间、哪台主机、哪个服务、出现了什么信息等。可以在系统出现问...
    Zhang21閱讀 3,708評論 0 5
  • 日志管理Rsyslog [TOC] 背景 有一个4台机器的分布式服务,不多不少,上每台机器上查看日志比较麻烦,用F...
    ferret閱讀 15,959評論 0 3
  • 1 概述 服务器上的日志,处理记录在本机上,也可以搭建专门收集log的服务器,方便分析。本文将介绍如何启用rsys...
    ghbsunny閱讀 1,119評論 0 0
  • 1。 从前有个p, 2。 然后自己放了个p 3。 最后死了. end
    平上晴閱讀 76評論 0 0