awk 進(jìn)行php日志累計(jì)報(bào)錯統(tǒng)計(jì)

fevin 發(fā)布于2019-06-27 16:55 / 1112人閱讀

摘要：思路將每一行得到的日志通過命令進(jìn)行處理，利用的全局的特性來累計(jì)報(bào)錯數(shù)量。方案我們將從執(zhí)行命令開始的所有報(bào)錯的接口地址進(jìn)行了累計(jì)，每一次報(bào)錯，都將累計(jì)的報(bào)錯數(shù)量輸出在前，這樣可以快速看出到底哪個接口數(shù)據(jù)量報(bào)錯比較大。

問題

線上服務(wù)器一百多臺

通過tail -f /var/log/error_web* 方式來查看，速度滾動刷新太快，而且不方便定位問題

按照前輩的『觀察法』，作為新人實(shí)在是有難度，所以使用awk命令對輸出格式格式化了一下。

思路

將每一行tail得到的日志通過awk命令進(jìn)行處理，利用awk的BEGIN全局的特性來累計(jì)報(bào)錯數(shù)量。

方案

我們將從執(zhí)行tail命令開始的所有報(bào)錯的接口地址進(jìn)行了累計(jì)，每一次報(bào)錯，都將累計(jì)的報(bào)錯數(shù)量輸出在前，這樣可以快速看出到底哪個接口數(shù)據(jù)量報(bào)錯比較大。

效果如下

錯誤次數(shù)：33 鏈接：[REQUEST_URI:xxxxxxxxxxxxxx
[04-Jul-2017 18:32:20 PRC] 95169011-595b6eb3b12291.18851925 PHP Warning:

我們來看下log.sh文件的代碼

tail -f /var/log/error_web* | grep . | grep -v "==>" |
awk "
# 定義全局變量，是awk命令的BEGIN用法，還有一個END可以搜下
BEGIN{
    # 每隔接口報(bào)錯的次數(shù)
    errorTimes[0] = 0;
    # 錯誤詳情
    errorDetails[0] = 0;
    # 總的錯誤次數(shù)
    errorCount = 0;
}
{
    # 格式化當(dāng)前行的內(nèi)容，得到URL
    # 獲取最后的一個字段，這里可以搜下awk命令的NF內(nèi)置變量
    url = $NF;
    # 將得到的url之后的參數(shù)拆掉
    split(url, urlFields, "?");
    url = urlFields[1];
    # 報(bào)錯數(shù)量+1
    errorTimes[url] = errorTimes[url] + 1;
    print("錯誤次數(shù)："errorTimes[url]" 鏈接："url);
    # 這里是為了打印錯誤的詳情
    print($0);
    print("");
    # 增加總次數(shù)
    errorCount = errorCount + 1;

}
"