摘要：問題初衷最近有個項(xiàng)目需求，需要統(tǒng)計下用戶的使用情況，比如什么時候登錄的，查詢了什么內(nèi)容等信息。缺點(diǎn)擴(kuò)展能力需要靠自己設(shè)計，統(tǒng)計展示畫面需要自己做。可輕松應(yīng)對分布式，數(shù)據(jù)量大的情況。通過，如下修改，在重啟后又會恢復(fù)原值。

最近有個項(xiàng)目需求，需要統(tǒng)計下用戶app的使用情況，比如：什么時候登錄的，查詢了什么內(nèi)容等信息。

1.定義用戶軌跡模型，每步操作都寫到數(shù)據(jù)庫中，然后在前端展示。

優(yōu)點(diǎn)：可以針對業(yè)務(wù)需求自定義模型，操作靈活，有針對性。

缺點(diǎn)：擴(kuò)展能力需要靠自己設(shè)計，統(tǒng)計展示畫面需要自己做。

2.用現(xiàn)成的用戶數(shù)據(jù)分析平臺，網(wǎng)上有很多成熟的平臺，對接其api接口即可。

優(yōu)點(diǎn)：各種分析圖，什么有的沒有的，見過的沒見過的一應(yīng)俱全。ps:現(xiàn)在用不上以后可能會用上。

缺點(diǎn)：受制于人，主要還要看自身業(yè)務(wù)是否適用。

3.ELK，集中式日志管理，特點(diǎn)：收集，傳輸，存儲，管理，告警。

優(yōu)點(diǎn)：開源，可以通過日志記錄各種你想要記錄的東西。豐富的分析圖表。可輕松應(yīng)對分布式，數(shù)據(jù)量大的情況。

Elasticsearch+Logstash+Kibana（ELK）是一套開源的日志管理方案。

Elasticsearch：負(fù)責(zé)日志檢索和分析
Logstash：負(fù)責(zé)日志的收集，處理和儲存
Kibana：負(fù)責(zé)日志的可視化

對于保存日志到文件的的項(xiàng)目，可以用logstash的logstash-input-file插件直接進(jìn)行文件讀取，處理后轉(zhuǎn)存到Elasticsearch中。處理可以用logstash-filter-kv鍵值插件或者logstash-filter-mutate等插件進(jìn)行解析。具體查看Filter plugins。

由于我們的項(xiàng)目沒有記錄日志文件，所以選擇直接發(fā)送日志信息到logstash，（對于log4j，logstash有專門的input插件）。

log4j2的配置

    
        {"logger": "%logger", "level": "%level", "msg": "%message"}%n
    
    
        
            
        
    
    
        
            
        
    

logstash的配置

input {
  tcp {
    host => "127.0.0.1"
    port => 4560
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {

}

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "logstash"
  }
}

轉(zhuǎn)存到Elasticsearch的message就是我們log4j2配置中的Json形式，如果想要將message拉平，那么只需要加入logstash-filter-json。

filter {
  json {
    source => "message"
  }
}

這樣保存到Elasticsearch中的數(shù)據(jù),就會變成如下形式

{       
    ...                                                                                                                                       
    "message" => "{"logger": "elk", "level": "INFO", "msg": "logstash test"}
",
    "logger" => "elk",
    "level" => "INFO",
    "msg" => "logstash test"
} 

這樣對于Kibana分析的時候比較方便。

log4j2用Socket的方式會有一個問題，當(dāng)logstash斷掉，重啟后你會發(fā)現(xiàn)收不到log4j2的日志了，傳輸斷掉沒有重連。在生產(chǎn)環(huán)境中，elk斷掉，我們不可能在去重啟所有與之相連的服務(wù)。所以接下來我們采用gelf方式。

修改pom

    biz.paluch.logging
    logstash-gelf
    1.12.0

修改log4j2的配置

修改logstash配置

input {
  gelf {
    host => "127.0.0.1"
    port => 4560
    use_tcp => true
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {
  json {
    source => "message"
  }
}

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "logstash"
  }
}

保存到Elasticsearch中的數(shù)據(jù)就會如同log4j2中的配置格式一樣，由于我們這里依然配置了json filter，如果你的message是json字串，這里依然會拉平處理。

以上我們log4j2與logstash的對接就完成了，對于docker部署elk，比較簡單，網(wǎng)上有很多教程，當(dāng)然還是推薦大家先去官網(wǎng)看看，注意版本對應(yīng)。我選擇的是sebp/elk，集成好的elk容器。詳細(xì)的文檔elk-docker

這里主要說說需要注意的地方，強(qiáng)烈建議安裝之前看下文檔中的Prerequisites。

首先，我就遇見了vm.max_map_count限制問題，在Elasticsearch version 5這是最常出現(xiàn)的問題。通過，如下修改，在重啟后又會恢復(fù)原值。

sysctl -w vm.max_map_count=262144

持久性的做法是修改/etc/sysctl.conf文件中的vm.max_map_count

echo "vm.max_map_count=262144" > /etc/sysctl.conf
sysctl -p

其次，logstash的配置文件在/etc/logstash/conf.d/目錄下，將input，filter，out分開，最終組合成一個，建議將/etc/logstash/conf.d映射出來，自行管理。

最后，因?yàn)閘og4j2在發(fā)送日志是是通過4560接口，所以啟動docker的時候需要映射此接口。

以上是我在對接elk的時候遇到的問題，再次記錄下，更多的elk內(nèi)容后續(xù)會繼續(xù)探索。