云原生可觀察性系列二：基于Loggie采集容器日志

IT那活兒發(fā)布于2023-01-11 13:19 / 3623人閱讀

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！??！

一

文章前言

我們現(xiàn)有日志采集方式主要是基于開源flume 進行二次開發(fā)，已實現(xiàn)對應用日志、syslog、組件日志、sql查詢等類型的日志進行采集，適用傳統(tǒng)運行環(huán)境日志采集，長期實踐過程中flume對文件數(shù)過多，量大的情況下采集存在資源消耗較高的現(xiàn)象（進程高cpu）。

應用大規(guī)模上K8s云環(huán)境后需要對容器及容器內(nèi)部日志進行采集，flume 本身并不支持，需要找尋相應的開源解決方案，而今年推出的開源日志采集組件Loggie可以滿足這種場景。

Loggie是一個基于Golang的輕量級、高性能、云原生日志采集Agent和中轉(zhuǎn)處理Aggregator，支持多Pipeline和組件熱插拔，提供了基于日志可觀測性、快速排障、異常預警、自動化運維能力。

二

安裝部署

2.1 環(huán)境準備

在此之前需要有一套k8s集群以及helm環(huán)境。

helm下載地址：https://github.com/kubernetes/helm/releases，下載上傳解壓即可。

下載好Loiggie安裝包：https://github.com/loggie-io/installation/releases/download/v1.2.0/loggie-v1.2.0.tgz

loggie官方文檔：https://loggie-io.github.io/docs/

2.2 部署

1）DaemonSet方式部署loggie，helm install loggie ./loggie -nloggie --create-namespace 可以通過kubectl get ds -n loggie命令查看loggie容器是否創(chuàng)建成功。

2）創(chuàng)建被采集的測試容器。

3）定義輸出源Sink，創(chuàng)建一個Loggie定義的CRD Sink實例，表明日志發(fā)送的后端。接收日志的后端存在多種，例如es、kafka、Prometheus，本次演示配置輸出到loggie容器日志（dev）和kafka中。

輸出源dev：

apiVersion: loggie.io/v1beta1
kind: Sink
metadata:
 name: default
spec:
 sink: |
   type: dev
   printEvents: true

輸出源：kafka

apiVersion: loggie.io/v1beta1
kind: Sink
metadata:
 name: default
spec:
 sink: |
   type: kafka
   brokers: ["192.168.XX.XXX:9092"] # kafka地址
   topic: "loggie"   # topic名稱

其他輸出源配置詳見：https://loggie-io.github.io/docs/reference/下的Sink節(jié)點。

通過kubectl apply -f xxx.yaml創(chuàng)建sink。

4）定義采集任務(wù)，Loggie定義CRD LogConfig，表示一個日志采集任務(wù)；本次演示兩種采集方式，直接采集應用日志文件和采集容器日志。

采集容器日志：

apiVersion: loggie.io/v1beta1
kind: LogConfig
metadata:
 name: tomcat-app
 namespace: default
spec:
 selector:
   type: pod
   labelSelector:
     app: asdf
 pipeline:
   sources: |
     - type: file
       name: mylog
       paths:
       - stdout
   sinkRef: default

采集容器內(nèi)的應用日志：

apiVersion: loggie.io/v1beta1
kind: LogConfig
metadata:
 name: tomcat-app
 namespace: default
spec:
 selector:
   type: pod
   labelSelector:
     app: asdf
 pipeline:
   sources: |
     - type: file
       name: mylog
       paths:
       - /usr/local/logs/app.log
   sinkRef: default