Linux配置Tomcat日志轮转(切割)

服务器每天都会产生很多各种各样的日志,尤其是生产环境,因为很多日志需要保留一段时间,防止这段时间内出现了问题却没有找到日志文件,当然为了更好的查询日志和定位错误,推荐搭建EFK(ELK)日志分析系统(centos7搭建EFK日志分析系统),但是就算搭建了EFK,也还是需要定时删除原始的日志文件,而如果没有对原始日志文件进行分割的话,一旦删除就会把整个原始日志文件删除掉,万一某一部分日志还未写入EFK中,那么就会导致日志丢失,而且如果日志没有分割,需要查看原始日志的时候也是一件痛苦的事情,毕竟生产环境每天都能参数几个G的日志,如此庞大的日志,使用Linux的命令查看搜索都是耗时耗力的,所以日志分割不管是对于测试环境还是生产环境来说,都是有必要的,而分割日志也叫日志轮转,可以自己写脚本处理,当然也可以使用Linux本来就有的服务:logrotate

logrotate简介

logrotate程序是一个日志文件管理工具,它可以自动对日志进行截断(或轮循)、压缩以及删除旧的日志文件,并创建新的日志文件,起到“转储”作用。它是基于CRON来运行的,其脚本是「/etc/cron.daily/logrotate」。主流Linux发行版上都默认安装有logrotate包

配置文件介绍

Linux系统默认安装logrotate工具,它默认的配置文件在:

/etc/logrotate.conf

/etc/logrotate.d/

logrotate.conf 才主要的配置文件,logrotate.d 是一个目录,该目录里的所有文件都会被主动的读入/etc/logrotate.conf中执行。
另外,如果 /etc/logrotate.d/ 里面的文件中没有设定一些细节,则会以/etc/logrotate.conf这个文件的设定来作为默认值。

虽然可以将所有的配置都写入/etc/logrotate.conf ,但是这样一来这个文件就实在是太复杂了,尤其是当使用很多的服务在系统上面时, 每个服务都要去修改/etc/logrotate.conf的设定也似乎不太合理了。
所以,如果独立出来一个目录,那么每个要切割日志的服务, 就可以独自成为一个文件,并且放置到 /etc/logrotate.d/ 当中

logrotate的Tomcat配置

首先进入/etc/logrotate.d/目录创建一个文件名为Tomcat的文件,文件名可以自由定义,但是为了方便理解和维护,最好和需要轮转日志的服务名相同

logrotate.conf默认配置:

COPY
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
weekly
rotate 4
create
dateext
include /etc/logrotate.d
/var/log/wtmp {
monthly
create 0664 root utmp
minsize 1M
rotate 1
}
/var/log/btmp {
missingok
monthly
create 0600 root utmp
rotate 1
}

weekly          默认每一周执行一次rotate轮转工作
rotate 4       保留多少个日志文件(轮转几次).默认保留四个.就是指定日志文件删除之前轮转的次数,0 指没有备份
create        自动创建新的日志文件,新的日志文件具有和原来的文件相同的权限;因为日志被改名,因此要创建一个新的来继续存储之前的日志
dateext       这个参数很重要!就是切割后的日志文件以当前日期为格式结尾,如xxx.log-20131216这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1这种格式
/var/log/wtmp和/var/log/btmp是对默认2个日志进行轮转的配置

以下是我对于Tomcat日志的轮转的配置

COPY
1
2
3
4
5
6
7
/vdb1/tomcat/catalina.out{
copytruncate
daily
rotate 70
missingok
size 1G
}

首先/vdb1/tomcat/catalina.out是需要被轮转的日志文件的路径

copytruncate用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。但是由于Tomcat的特殊性,一旦直接删除日志可能会导致日志输出流有问题,一旦发生轮转后,新的日志不会写入到日志文件,所以这里用copytruncate。

daily 指定转储周期为每天。

rotate 70 指定日志文件删除之前转储的次数,0 指没有备份,70代表有70个备份。
missingok  如果日志丢失,不报错继续滚动下一个日志。
size 1G 当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)及KB 或MB者G。这个条件跟daily是并且关系,也就是说虽然每天会轮转,但是如果日志没有到达1g也不会执行轮转计划

以上配置能实现每天检查日志,如果到达了1g则进行日志轮转

logrotate 主要参数说明

compress                                   通过gzip 压缩转储以后的日志
nocompress                                不做gzip压缩处理
copytruncate                              用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。
nocopytruncate                           备份日志文件不过不截断
create mode owner group             轮转时指定创建新文件的属性,如create 0777 nobody nobody
nocreate                                    不建立新的日志文件
delaycompress                           和compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress                        覆盖 delaycompress 选项,转储同时压缩。
missingok                                 如果日志丢失,不报错继续滚动下一个日志
errors address                           专储时的错误信息发送到指定的Email 地址
ifempty                                    即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。
notifempty                               当日志文件为空时,不进行轮转
mail address                             把转储的日志文件发送到指定的E-mail 地址
nomail                                     转储时不发送日志文件
olddir directory                         转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                           运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本
prerotate                                 在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行
postrotate                               在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行
daily                                       指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                  指定转储周期为每月
rotate count                            指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
dateext                                  使用当期日期作为命名格式
dateformat .%s                       配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size            当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)及KB 或MB者G
当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过)
size = 5 或 size 5 (>= 5 个字节就转储)
size = 100k 或 size 100k
size = 100M 或 size 100M
size = 100G 或 size 100G

其他命令和关键点

手动轮转日志

COPY
1
# /usr/sbin/logrotate -f /etc/logrotate.conf

不过正式执行前最好通过Debug选项来验证一下(-d参数),这对调试也很重要

COPY
1
# /usr/sbin/logrotate -d -f /etc/logrotate.conf

另外由于logrotate 是基于CRON来运行的,所以一定要保证CRON是开启状态才能确保logrotate 运行,另外logrotate 的执行时间也是由CRON控制的,具体可以查询CRON的配置文件/etc/anacrontab(老版本的文件是/etc/crontab)来确认logrotate的执行时间

Authorship: 作者
Article Link: https://raye.wang/2019/02/26/Linux%E9%85%8D%E7%BD%AETomcat%E6%97%A5%E5%BF%97%E8%BD%AE%E8%BD%AC%EF%BC%88%E5%88%87%E5%89%B2%EF%BC%89/
Copyright: All posts on this blog are licensed under the CC BY-NC-SA 4.0 license unless otherwise stated. Please cite Raye Blog !