基于Docker的日志分析平臺（四）平臺整合

wthee 發布于2019-06-28 16:10 / 2643人閱讀

摘要：會直接把日志發送給，再由進行展示。因為因為會同步把日志傳輸到，一旦掛掉數據就有可能會丟失。于是，我們考慮利用作為緩沖區，讓不受的影響，第一步就是讓把日志發送到，這里相當于。至此，我們就成功把加入到日志分析平臺的架構中。

在上一篇中我們基本上完成了 ELK 和 Kafka 環境的安裝，并且也通過幾個簡單的例子入門。現在我們就把搭建好的架構中加入 Kakfa 作為緩沖區。再來說一下，首先 Logstash 從日志源讀取日志并且存儲到 Kafka，然后 Logstash 再從 Kafka 中讀取日志存儲到 Elasticsearch。所以我們需要兩步驟。

Logstash -> Kafka

Logstash 會直接把日志發送給 Elasticsearch，再由 Kibana 進行展示。因為因為 Logstash 會同步把日志傳輸到 Elasticsearch ，一旦 ElasticSearch 掛掉數據就有可能會丟失。于是，我們考慮利用 Kafka 作為緩沖區，讓 Logstash 不受 Elasticsearch 的影響，第一步就是讓 Logstash 把日志發送到 Kafka，這里 Logstash 相當于 Producer。直接來看看 Logstash 的配置文件：

input {
    file {
        path => ["/var/log/laravel/storage/logs/*.log"]
    }
}
filter {
   grok {
        match => {
            "message" => "[%{TIMESTAMP_ISO8601:logtime}] %{WORD:env}.%{LOGLEVEL:level}: %{GREEDYDATA:msg}"
        }
    }
}
output {
    kafka {
        bootstrap_servers => "kafka:9092"
        topic_id => "laravellog"
    }
}

這里是用來讀取 Laravel 項目的日志文件，我們在 input 和 output 中間加入了一個 filter，這是 Logstash的插件，用戶格式化讀取進來的數據。一般情況下，Laravel的日志文件大概是這樣：

[2017-12-05 17:45:07] production.ERROR: 報錯接口 {"api":"/admin/sales"}

分為幾個部分，分別是日志的記錄時間，產生日志的環境，日志的級別，日志的信息以及額外數據。所以我們進行了一個格式化，最后可以讓他以 JSON 的形式存儲到 Elasticsearch，默認沒有 filter 的情況是直接一行存儲進去。格式化后的數據就是這樣的（部分）：

{
    "msg": "接口參數 {"params":[]} ",
    "path": "/var/log/fenyong/storage/logs/laravel-2017-12-05.log",
    "level": "ERROR",
    "env": "local",
    "logtime": "2017-12-05 17:54:50"
  }

Kafka -> Elasticsearch

利用 Logstash 從 Kafka 讀取數據然后存儲到 Elasticsearch，這里 Logstash 作為 Consumer，唯一需要注意的地方是要保證 Topic 的名稱一致。

input {
    kafka {
        bootstrap_servers => "kafka:9092"
        topics => ["laravellog"]
    }
}

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "laravellog"
        user => "elastic"
        password => "changeme"
    }
}

這樣我們就完成了從 Logstash 到 Kafka 再到 Elasticsearch 的日志存儲，接下來就可以用 Kibana 來展示數據了。

至此，我們就成功把 Kafka 加入到日志分析平臺的架構中。

云服務器 GPU云服務器大數據日志分析平臺基于云計算的平臺智能化大數據日志分析平臺方案基于物聯網的云平臺

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/27161.html

容器化 — 基于Docker技術容器云

摘要：導讀本文介紹了基于技術的企業級應用容器平臺，從云的定義云服務分類，到用友云基礎平臺平臺總體架構架構預覽部署架構平臺核心價值和核心競爭力，闡述基礎平臺成為廣大傳統企業數字化轉型的一把尖刀。　　導讀：本文介紹了基于Docker技術的企業級應用容器平臺，從云的定義、云服務分類，到用友云PaaS基礎平臺、平臺總體架構、架構預覽、部署架構、平臺核心價值和核心競爭力，闡述PaaS基礎平臺成為廣大...

wapeyang 2019-06-28 16:48 評論0 收藏0
Docker企業級管理平臺開放下載，免費使用

摘要：云幫能解決什么問題新一代企業平臺讓開發人員輕松地開發部署和運維應用，讓架構師和運營人員利用熟知和可靠技術打造一個受控的運行環境。有助于加速企業級應用服務于市場，實現內部資源的有效利用。云幫是什么？云幫是一款基于容器技術的應用管理平臺。社區版針對個人、企業完全免費，您可以自由的下載與傳播，但需要遵循我們的社區版協議。云幫從哪里來？云幫是北京好雨科技有限公司結合容器技術整合的...

sumory 2019-06-28 15:22 評論0 收藏0
寫這么多系列博客，怪不得找不到女朋友

摘要：前提好幾周沒更新博客了，對不斷支持我博客的童鞋們說聲抱歉了。熟悉我的人都知道我寫博客的時間比較早，而且堅持的時間也比較久，一直到現在也是一直保持著更新狀態。 showImg(https://segmentfault.com/img/remote/1460000014076586?w=1920&h=1080); 前提好幾周沒更新博客了，對不斷支持我博客的童鞋們說聲：抱歉了！。自己這段時...

JerryWangSAP 2019-08-16 11:11 評論0 收藏0