国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

磁盤(pán)管理 Kafka消息隊(duì)列 UKafka

ernest.wang / 3076人閱讀

摘要：創(chuàng)建集群時(shí)磁盤(pán)管理方式默認(rèn)為清理日志。集群運(yùn)行中選磁盤(pán)管理，然后可以修改磁盤(pán)管理方式和磁盤(pán)使用率閾值，調(diào)整后立即生效。

磁盤(pán)管理

磁盤(pán)管理方式包括自動(dòng)清理日志和無(wú)操作，清理日志即為當(dāng)磁盤(pán)到達(dá)設(shè)定的閾值時(shí)開(kāi)始清理日志文件，避免由于磁盤(pán)寫(xiě)滿導(dǎo)致Kafka服務(wù)不可用。

清理日志

當(dāng)集群中某個(gè)節(jié)點(diǎn)的磁盤(pán)使用率達(dá)到您設(shè)定的閾值時(shí)，UKafka會(huì)開(kāi)始自動(dòng)清理日志。

清理策略為：根據(jù)當(dāng)前節(jié)點(diǎn)上各 topic 實(shí)際占用比例與磁盤(pán)總?cè)萘浚幢壤?jì)算要清理到磁盤(pán)閾值之下時(shí)各 topic 的占用，以這個(gè)值設(shè)置 topic 保留大小。當(dāng)磁盤(pán)使用率降低到閾值之下后，會(huì)恢復(fù) topic 的保留大小設(shè)置。

每個(gè) topic partition 在磁盤(pán)上會(huì)對(duì)應(yīng)多個(gè) segment 數(shù)據(jù)文件，segment 文件是可操作的最小單位，因此清理的最小粒度也是 1G。

當(dāng)集群磁盤(pán)使用達(dá)到閾值時(shí)，如果 topic partition 的實(shí)際占用小于節(jié)點(diǎn)磁盤(pán)的 2%，為了防止 topic 限制過(guò)小導(dǎo)致不可用，清理服務(wù)會(huì)跳過(guò)這類(lèi) topic。

當(dāng) topic 占用增長(zhǎng)過(guò)快時(shí)，磁盤(pán)清理可能會(huì)被頻繁觸發(fā)，磁盤(pán)清理策略可以預(yù)防磁盤(pán)寫(xiě)滿導(dǎo)致 Kafka 服務(wù)不可用，但制定的清理策略只能被動(dòng)的根據(jù) topic 實(shí)際占比來(lái)決定，并不是最符合實(shí)際業(yè)務(wù)需求的方案，因此當(dāng)出現(xiàn)這種情況時(shí)，建議您根據(jù)自身業(yè)務(wù)對(duì) topic 保留策略進(jìn)行調(diào)整。

如果集群中所有 topic partition 都沒(méi)有達(dá)到清理限制的大小，但是因?yàn)?topic partition 總數(shù)太多導(dǎo)致磁盤(pán)占用率達(dá)到閾值，這時(shí)日志清理服務(wù)將不會(huì)進(jìn)行工作，這種情況必須由用戶自己調(diào)整 topic 或者擴(kuò)容集群

開(kāi)啟清理日志

集群創(chuàng)建時(shí)和集群運(yùn)行中都可以開(kāi)啟該功能。

創(chuàng)建集群時(shí)

磁盤(pán)管理方式默認(rèn)為“清理日志”。不建議您選擇“無(wú)操作”，這樣會(huì)導(dǎo)致磁盤(pán)寫(xiě)滿之后kafka服務(wù)不可用。

磁盤(pán)使用率閾值默認(rèn)為80%，可選范圍為70%~90%。

集群運(yùn)行中

選“磁盤(pán)管理”，然后可以修改磁盤(pán)管理方式和磁盤(pán)使用率閾值，調(diào)整后立即生效。

無(wú)操作

若選擇不由UKafka管理磁盤(pán)，十分建議您在監(jiān)控中開(kāi)啟磁盤(pán)使用率告警，在磁盤(pán)使用率達(dá)到80%時(shí)，可在控制臺(tái)清理各topic的舊日志。

清理方法為，選擇“topic管理”中的“更新配置”，在彈出窗口中調(diào)小“日志保存時(shí)間”。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/126904.html

相關(guān)文章

  • FAQs Kafka消息隊(duì)列 UKafka

    摘要：大量的和分區(qū)會(huì)嚴(yán)重影響集群性能。介紹可參考收到離線分區(qū)總數(shù)異常告警一般是某個(gè)節(jié)點(diǎn)宕機(jī)或者服務(wù)異常導(dǎo)致。若服務(wù)卡住，可在評(píng)估后在控制臺(tái)重啟該節(jié)點(diǎn)服務(wù)。若想了解當(dāng)前請(qǐng)求延時(shí)情況，建議關(guān)注平均請(qǐng)求延時(shí)監(jiān)控項(xiàng)。 FAQs本篇目錄一個(gè)UKafka集群可以創(chuàng)建多少個(gè)Topic？如何增加Topic的副本數(shù)量(ReplicationFactor)？收到離線分區(qū)總數(shù)>=10.0個(gè)告警，離線分區(qū)總數(shù)是什么，怎么...

    ernest.wang 評(píng)論0 收藏2407

  • 集群管理 Kafka消息隊(duì)列 UKafka

    摘要：集群管理集群管理集群管理本篇目錄創(chuàng)建集群創(chuàng)建集群調(diào)整集群參數(shù)調(diào)整集群參數(shù)創(chuàng)建集群創(chuàng)建集群創(chuàng)建集群點(diǎn)擊控制臺(tái)左上角全部產(chǎn)品選擇消息隊(duì)列也可鎖定到左側(cè)菜單欄。選擇完畢后，進(jìn)入集群設(shè)置頁(yè)面，可對(duì)集群參數(shù)進(jìn)行配置。 集群管理本篇目錄創(chuàng)建集群調(diào)整集群參數(shù)創(chuàng)建集群1. 點(diǎn)擊控制臺(tái)左上角全部產(chǎn)品選擇Kafka消息隊(duì)列 UKafka,也可鎖定到左側(cè)菜單欄。2. 進(jìn)入U(xiǎn)Kafka操作界面，點(diǎn)擊創(chuàng)建集群進(jìn)行UK...

    ernest.wang 評(píng)論0 收藏276

  • 概覽 Kafka消息隊(duì)列 UKafka

    摘要：概覽概覽產(chǎn)品簡(jiǎn)介操作指南集群管理節(jié)點(diǎn)管理磁盤(pán)管理管理管理監(jiān)控視圖監(jiān)控項(xiàng)說(shuō)明開(kāi)發(fā)指南快速開(kāi)始認(rèn)證配置與外網(wǎng)訪問(wèn)客戶端性能測(cè)試連接器產(chǎn)品介紹快速開(kāi)始產(chǎn)品功能性能測(cè)試產(chǎn)品價(jià)格產(chǎn)品價(jià)格 概覽產(chǎn)品簡(jiǎn)介操作指南集群管理節(jié)點(diǎn)管理磁盤(pán)管理Topic管理ConsumerGroup管理監(jiān)控視圖監(jiān)控項(xiàng)說(shuō)明開(kāi)發(fā)指南快速開(kāi)始認(rèn)證配置與外網(wǎng)訪問(wèn)客戶端SDK性能測(cè)試FAQsKafka連接器產(chǎn)品介紹快速開(kāi)始產(chǎn)品功能性能測(cè)試...

    ernest.wang 評(píng)論0 收藏2613

  • 監(jiān)控視圖 Kafka消息隊(duì)列 UKafka

    摘要：監(jiān)控視圖監(jiān)控視圖監(jiān)控視圖集群監(jiān)控集群監(jiān)控提供小時(shí)至天多個(gè)維度的集群流入流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控，生產(chǎn)者消費(fèi)者監(jiān)控?cái)?shù)據(jù)，以及相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控節(jié)點(diǎn)監(jiān)控提供每個(gè)上的磁盤(pán)網(wǎng)卡，服務(wù)，以及監(jiān)控?cái)?shù)據(jù) 監(jiān)控視圖集群監(jiān)控提供1小時(shí)至15天多個(gè)維度的集群流入、流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控，Kafka生產(chǎn)者、消費(fèi)者監(jiān)控?cái)?shù)據(jù)，以及Zookeeper相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控提供每個(gè)Broker上的CPU、MEM、磁...

    ernest.wang 評(píng)論0 收藏680

  • Kafka消息隊(duì)列 UKafka

    摘要：快速開(kāi)始本例以數(shù)據(jù)同步到來(lái)做說(shuō)明。創(chuàng)建連接器點(diǎn)擊創(chuàng)建連接器按鈕，打開(kāi)配置頁(yè)面。若下游為，則需配置路徑，若為，則需填寫(xiě)信息。連接器列表詳情頁(yè)數(shù)據(jù)驗(yàn)證參考，為集群創(chuàng)建，并寫(xiě)入消息到其中。快速開(kāi)始本例以UKafka數(shù)據(jù)同步到UHadoop來(lái)做說(shuō)明。創(chuàng)建連接器點(diǎn)擊【創(chuàng)建連接器】按鈕，打開(kāi)配置頁(yè)面。配置連接器基本信息配置按需填寫(xiě)。【上游】意為Kafka連接器上游的Kafka集群，【下游】意為Kafka...

    ernest.wang 評(píng)論0 收藏1595

  • 性能測(cè)試 Kafka消息隊(duì)列 UKafka

    摘要：性能測(cè)試性能測(cè)試性能測(cè)試上游，下游是的連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型速度消息數(shù)核核核核核核核上游，下游是連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型版本機(jī)型節(jié)點(diǎn)數(shù)分片數(shù)副本數(shù)速度消息數(shù)核核核核核核核核核 性能測(cè)試上游UKafka，下游是UHadoop的HDFS 連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)broker數(shù)消息大小/byteskafka機(jī)型hadoopmasterhadoopcore速度(消息數(shù)/s)1331024...

    ernest.wang 評(píng)論0 收藏1358

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<