摘要:日志文件總管日志輪轉工具可以自動對日志文件提供截斷壓縮以及輪轉的功能。使用假設我們現在有一個日志文件存儲在,需要對其每日進行切分為新舊兩個日志文件,并刪除天前的舊日志。以后系統就會對該日志進行自動的輪轉管理。
部署網絡應用時,會對請求進行日志保存,用于數據統計分析以及故障排除,但對于高并發請求的服務器,日志文件會迅速增長,快速的消耗磁盤空間,同時,分析一個大文件來排查問題也會非常慢。因此,我們通常需要將日志按照天級別進行存儲,并對過舊的日志進行壓縮轉存或刪除,方便節省磁盤空間和進行腳本分析。
當我第一次有這種需求的時候,最先想到的是crontab腳本定時執行日志清理腳本。就是先編寫一個cleanLog.sh,然后讓crontab定期的來執行它。這個方法可行,但是比較麻煩費事,此時一個Linux內置的工具就比較有用了:logrotate。
logrotate: Linux日志文件總管logrotate(日志輪轉工具)可以自動對日志文件提供截斷、壓縮以及輪轉的功能。
logrotate工具默認安裝在linux機器上,全局命令在/usr/sbin/logrotate,另外還包含兩個配置文件:
// 全局配置文件,存儲的為公用的默認配置項 /etc/logrotate.conf // 子項配置文件夾,該文件夾下提供一些系統級別的日志配置,你的自定義配置也需要配置在這里 /etc/logrotate.d/
這個工具能做到自動執行的功能,其實還是依賴于crontab工具,只不過這些設定系統自動完成了,我們可以查看crontab系統級別的日運行腳本:
$ vim /etc/cron.daily/logrotate #!/bin/sh /usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1 EXITVALUE=$? if [ $EXITVALUE != 0 ]; then /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]" fi exit 0
可以看到在crontab的日級別配置文件目錄下有一個logrotate子項,它會每天執行logrotate命令,調用的配置為/etc/logrotate.conf。
在實際執行中,logrotate命令會先讀取/etc/logrotate.conf的配置作為默認項,然后再依次讀取/etc/logrotate.d/目錄下的各文件配置來覆蓋默認項,并執行日志輪轉功能。
logrotate命令語法:logrotate [OPTION...]logrotate使用
參數說明:
-d, --debug :debug模式,測試配置文件是否有錯誤。
-f, --force :強制轉儲文件。
-m, --mail=command :壓縮日志后,發送日志到指定郵箱。
-s, --state=statefile :使用指定的狀態文件。
-v, --verbose :顯示轉儲過程。
假設我們現在有一個日志文件存儲在/home/work/log/nginx.access.log,需要對其每日進行切分為新舊兩個日志文件,并刪除7天前的舊日志。
首先我們創建新的日志輪轉配置:
$vim /etc/logrotate.d/nginxAccessLog # 指定需要輪轉處理的日志文件 /home/work/log/nginx.access.log { # 日志文件輪轉周期,可用值為: daily/weekly/yearly daily # 新日志文件的權限 create 0664 work work # 輪轉次數,即最多存儲7個歸檔日志,會刪除最久的歸檔日志 rotate 7 # 以當前日期作為命名格式 dateext # 輪循結束后,已歸檔日志使用gzip進行壓縮 compress # 與compress共用,最近的一次歸檔不要壓縮 delaycompress # 忽略錯誤信息 missingok # 日志文件為空,輪循不會繼續執行 notifempty # 當日志文件大于指定大小時,才繼續執行,單位為bytes(默認)/k/M/G size = 100M # 將日志文件轉儲后執行的命令,以endscript結尾,命令需要多帶帶成行 postrotate # 重啟nginx日志服務,寫入到新的文件中去,否則會依然寫入重命名后的文件中 /bin/kill -USR1 `cat /home/work/run/nginx.pid 2> /dev/null` 2> /dev/null || true # 默認logrotate會以root身份運行,如果想要以其他身份執行一個命令,可以這樣使用: #su - work -c "/home/work/odp/webserver/loadnginx.sh restart" endscript }
在使用前,我們先演練一下,也就是debug模式,此時,不用實際輪循,而是模擬并輸出,使用強制執行是因為還沒到輪循周期:
$logrotate -d -f /etc/logrotate.d/nginxAccessLog reading config file /etc/logrotate.d/nginxAccessLog reading config info for /home/work/log/nginx.access.log Handling 1 logs rotating pattern: /home/work/log/nginx.access.log forced from command line (7 rotations) empty log files are rotated, old logs are removed considering log /home/work/log/nginx.access.log log needs rotating rotating log /home/work/log/nginx.access.log, log->rotateCount is 7 dateext suffix "-20190228" glob pattern "-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]" glob finding old rotated logs failed renaming /home/work/log/nginx.access.log to /home/work/log/nginx.access.log-20190228 creating new /home/work/log/nginx.access.log mode = 0664 uid = 500 gid = 501 running postrotate script running script with arg /home/work/log/nginx.access.log: " /bin/kill -USR1 `cat /home/work/run/nginx.pid 2> /dev/null` 2> /dev/null || true "
可以看到整個執行流程,以及沒有什么報錯信息,此時我們直接繼續執行:
$logrotate -f /etc/logrotate.d/nginxAccessLog $ll /home/work/lnmp/log/ -rw-r--r-- 1 work work 0 Feb 28 13:40 nginx.access.log -rw-r--r-- 1 work work 5379846 Feb 28 13:37 nginx.access.log-20190228
可以看到我們已經對日志進行了切分,最新的日志文件大小為0。以后系統就會對該日志進行自動的輪轉管理。
參考資料Linux日志文件總管——logrotate:https://linux.cn/article-4126...
logrotate-(8) manual page:https://linuxconfig.org/logro...
運維中的日志切割操作梳理:https://www.cnblogs.com/kevin...
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/40363.html
摘要:使用管理日志標簽空格分隔日志管理本文作者是,本文原文地址是當前版本的一個問題就是日志管理。任何長時間運行的進程產生的日志都是冗長的,這會導致仔細檢查非常困難。所有文件這時能被轉發到一個中央日志系統。 使用 Fluentd 管理 Docker 日志 標簽(空格分隔): Fluentd Docker 日志管理 本文作者是 jwilder,本文原文地址是 Docker Log M...
閱讀 2595·2023-04-25 20:50
閱讀 3953·2023-04-25 18:45
閱讀 2226·2021-11-17 17:00
閱讀 3332·2021-10-08 10:05
閱讀 3083·2019-08-30 15:55
閱讀 3498·2019-08-30 15:44
閱讀 2363·2019-08-29 13:51
閱讀 1121·2019-08-29 12:47