資訊專欄INFORMATION COLUMN
摘要：摘要本篇文章介紹了如何通過數人云部署一套標準的日志收集系統。主機添加完成后，檢查主機運行是否正常，如圖第二步，發布實例我們將通過數人云將的鏡像以模式部署到我們規劃的主機和上。
摘要：本篇文章介紹了如何通過數人云部署一套標準的 ELK 日志收集系統。第一步，將主機組織成集群；第二步，發布 ElasticSearch 實例；第三步，發布 Kibana 實例；第四步，發布 Logstash 實例到待收集日志的應用 server ；第五步，快速擴展/減少 ElasticSearch , Kibana 實例數(可選)。
在具體介紹部署步驟前，讓我們先來了解下 ELK 是什么。 ELK 是 ElasticSearch+Logstash+Kibana 的縮寫， ElasticSearch 是一款基于 Lucene 的分布式搜索引擎，大名鼎鼎的 GitHub 就是由它提供的搜索。 Logstash 是一款分布式日志收集系統，是一個應用程序日志、事件的傳輸、處理、管理和搜索的平臺，可以用來統一對應用程序日志進行收集管理，提供 Web 接口用于查詢和統計。 Kibana 是一個基于瀏覽器頁面的 ElasticSearch 前端展示工具，內置了各種查詢和聚合操作，并擁有圖形化展示功能。
我們知道，日志記錄了各種重要信息，如應用程序的 log 記錄的 error，warn 級別的 log，在量小的情況下，我們當然可以直接 vi+awk+sed+grep 定位原因，而當數量非常大，且需要各種聚合或基于多個異常關鍵詞的組合搜索時，就是 ELK 大顯身手的地方！可以說， ELK 是運維界的明星，非常適合應用級的實時監控和核心服務預警。
下面就讓我們來看看如何通過數人云部署一套標準的 ELK 日志收集系統吧。
第一步， 將主機組織成集群首先，需要訪問 數人云 注冊并登錄系統，然后進入主機的準備工作。假設有7臺主機，這些主機可以是連接互聯網的私有主機，也可以是阿里云、Ucloud、 AWS、Azure、首都在線、華為云等公有云上購買的任意一臺云主機。這7臺主機之間需要網絡互通并能夠訪問外網。7臺主機的規劃及配置信息如下：
然后，登錄賬戶，在集群管理中，點擊創建群組，填寫集群名稱（ elk ），選擇 3 Master 集群，點擊完成。 添加主機后，如圖點擊右上角下拉菜單，選擇添加主機。
點擊已有主機下面的按鈕 Ubuntu 或者 CentOS ，填寫主機名稱，并在主機上根據"連接主機"的提示進行操作。
選擇主機組件：前 3 臺主機( 10.3.10.9 [1-3] )為 Master 節點, 無可選組件；在添加主機 10.3.10.94 時需要將可選組件中的內部代理勾選上。
登錄到將要添加的主機終端
`ssh ubuntu@10.3.10.91 `
安裝 Docker （若主機已安裝 Docker ，這步可跳過）
`curl -sSL https://get.docker.com/ | sh `
安裝 Agent ：點擊頁面按鈕，點擊“生成命令”生成安裝命令并粘貼到主機終端運行。
`sudo -H OMEGA_ENV=prod bash -c "$(curl -Ls https://raw.githubusercontent.com/Dataman-Cloud/agent-installer/master/install-agent.sh)" -s 92a0c8b287d34445b03f8518ce688e66 `
按提示執行以上兩步后，點擊"完成"即成功添加主機。
需要注意的是，由于數人云默認將加入集群的前3臺機器作為 master 節點，為了符合前期規劃，請確保主機10.3.10.91, 10.3.10.92, 10.3.10.93 首先被加入到集群中。同時，向同一集群添加的主機應存在于同一網段內，暫不支持跨公網的主機組建集群。此外，由于數人云在主機連接后會向主機上安裝基礎服務，所以主機需要一段時間進行初始化，依主機所處的網絡環境，主機初始化的時間有所不同。
主機添加完成后，檢查主機運行是否正常，如圖：
我們將通過數人云將 ES 的 Docker 鏡像以 HOST 模式部署到我們規劃的主機 10.3.10.95 和 10.3.10.96 上。具體操作如下：
選擇"應用管理"中的"新建應用"，如圖：
新建 ES 應用：
填寫應用名稱： es
選擇集群：elk
添加應用鏡像地址：index.shurenyun.com/dataman/jdk7-elasticsearch-1.4.5
填寫鏡像版本：2015112811
網絡模式：HOST 模式
主機選擇：10.3.10.95,10.3.10.96
容器目錄：容器內的掛載目錄 /data/app/elasticsearch
主機目錄：主機上的掛載目錄 /data (該目錄是我們主機數據盤所在的目錄)
選擇容器規格： CPU：0.8 內存：4096MB
容器個數：2 并且勾選 1 容器: 1 主機
高級設置：
添加應用地址：
* 應用端口: 9200 * 類型: 對內 * 協議: TCP * 地址: 10.3.10.94:9998
環境變量
* Key: CLUSTERNAME * Value: dataman-es
環境變量
* Key: ZOOKEEPER_ADDRESS * Value: 10.3.10.91:2181,10.3.10.92:2181,10.3.10.93:2181
填寫完成后，點擊創建。 如圖：
第一次向集群部署 ES 時由于本地沒有 Docker 鏡像 index.shurenyun.com/dataman/jdk7-elasticsearch-1.4.5，集群需要大約 1-2 分鐘去拉取鏡像（可能更長時間）。我們可以在 ES 的應用詳情頁看到相應的狀態，以及事件等。
第三步， 發布 Kibana 實例點擊新建應用，新建 Kibana 應用：
填寫應用名稱: kibana
選擇集群：elk
添加應用鏡像地址：index.shurenyun.com/dataman/kibana
填寫鏡像版本：4.1.4
網絡模式：網橋模式
選擇主機: ALL
容器規格： CPU：0.2 內存：256 MB
容器個數：1
高級設置：
應用地址：
* 應用端口: 5601 * 類型: 對內 * 協議: HTTP * 地址: http://10.3.10.94:5601
環境變量：
* KEY: ELASTICSEARCH_URL * VALUE: http://10.3.10.94:9998
注：Kibana 需要通過環境變量 ELASTICSEARCH_URL 來確定 ElasticSearch 的地址，由于添加主機時我們已經設置內部代理的節點為10.3.10.94,并且在添加 ES 應用時將其端口映射到了內部代理端口 9998 , 所以這里我們只需要設置 ELASTICSEARCH_URL=http://10.3.10.94:9998 即可使得 Kibana 發現 ES 實例。
來到 Kibana 的應用詳情頁，若應用狀態為運行中即應用已正常運行。
打開瀏覽器，訪問地址：http://10.3.10.94:5601（可能需要為你的瀏覽器設置內網代理），看到如下頁面，則說明 kibana 應用已經成功運行。
點擊新建應用，新建 Logstash 應用：
填寫應用名稱: logstash
選擇集群：elk
添加應用鏡像地址：index.shurenyun.com/dataman/logstash
填寫鏡像版本：2.1
網絡模式：網橋模式
選擇主機: 10.3.10.97
注：由于上面我們假設應用運行在了主機 10.3.10.97 上，所以這里我們限制 Logstash 在該主機上收集日志
主機/容器目錄
數據掛載目錄: /var/log/app
容器目錄: /var/log/app
注： 這里我們假設用戶的應用（待采集日志的應用）日志存儲在了主機目錄 /var/log/app 下面。
容器規格： CPU：0.3 內存：256 MB
容器個數：1
高級設置：
CMD:
`logstash -e "input { file { type => "linux-syslog" path => ["/var/log/app/*.log"]}} output { elasticsearch { hosts => "10.3.10.94:9998" }}"`
同樣，等待 1-2 分鐘后 Logstash 將被部署到應用 server 上并且開始收集日志， 用戶可以通過訪問 Kibana 的頁面來發掘相應的日志信息。
第五步， 快速擴展/減少 ElasticSearch, Kibana 實例數(可選)為了提高集群的資源利用率，我們可能需要根據負載來擴展或者減少 ElasticSearch , Kibana 等的實例數，在數人云的應用列表頁或者應用詳情頁, 點擊擴展按鈕，即可快速調整相應應用的實例數。
通過前面的五步實戰，大家都嘗試了用數人云去部署 ELK 系統，總結來說，使用數人云去部署 ELK 主要有三大優勢：第一，部署方便: 用戶的應用無需任何改造，只需要提供日志的存儲目錄；第二，可擴展: 如果日志存儲端( ElasticSearch )需要添加更多的實例， 用戶只需要向集群中添加更多的機器， 并在應用列表頁點擊擴展相應的 ELK 即可；第三，安全: 用戶應用的所有日志數據都存儲在了集群內網的 ES 服務集群中。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/25161.html
摘要：馬拉松會匹配每個和提供的資源，然后通過將任務下發下去。對外暴露的就是負載均衡的某個服務，后面自動將流量轉發到某個容器的端口上。還有一直辦法是用內網的，這個會維護現有的容器列表端口，并且返回任意一個的端口，頁實現了負載均衡和服務發現功能。 演講嘉賓 數人云COO 謝樂冰 在德國工作十年，回國后加入惠普電信運營商部門，擁有多年項目經驗和創業公司工作經驗。在數人云負責產品售前和運營，專注行...
摘要：平臺上的微服務架構應用再來看一下我眼中的基于當前最流行的微服務架構的設計是什么樣的，即我們平臺上要運行的典型應用是什么樣的。 showImg(https://segmentfault.com/img/remote/1460000010900878); 8月19日的數人云Container Meetup上，張龍老師做了《基于Kubernetes的PaaS平臺的設計和思考》的精彩分享，分別...
摘要：在谷歌不是這樣，谷歌不會把特定的應用裝在某臺服務器上，業務應用和服務器的強綁定對于谷歌這種量級的數據中心的維護難度太高了。但是金融機構的數據中心規模不像谷歌這么大，所以能做到業務應用和硬件的強綁定。 復雜的基礎IT架構是傳統金融的現狀，如何快速響應用戶需求，加快新業務上線速度，縮短產品的迭代周期? 數人云在容器落地金融云的2年實踐中，實現金融核心業務技術WebLogic、J2EE、Or...
摘要：新一代也有輕量的特性，介紹谷歌的輕量特性，應用要具有彈性要分布發布，再一個容錯性強易于維護，也要對計算資源故障進行容錯。 5月18日，第八屆中國云計算大會在北京國家會議中心召開。作為領先的云計算創新技術實踐者，數人云CEO王璞博士應邀出席并在全體大會上進行主題為中美容器之融合與變革的分享，以下是演講實錄： 容器VS虛擬化 showImg(https://segmentfault.com...
摘要：詳細請見產品價格產品概念使用須知名詞解釋漏洞修復記錄集群節點配置推薦模式選擇產品價格操作指南集群創建需要注意的幾點分別是使用必讀講解使用需要賦予的權限模式切換的切換等。UK8S概覽UK8S是一項基于Kubernetes的容器管理服務，你可以在UK8S上部署、管理、擴展你的容器化應用，而無需關心Kubernetes集群自身的搭建及維護等運維類工作。了解使用UK8S為了讓您更快上手使用，享受UK...
閱讀 2579·2023-04-25 17:33
閱讀 658·2021-11-23 09:51
閱讀 2963·2021-07-30 15:32
閱讀 1412·2019-08-29 18:40
閱讀 1955·2019-08-28 18:19
閱讀 1476·2019-08-26 13:48
閱讀 2253·2019-08-23 16:48
閱讀 2284·2019-08-23 15:56
