国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

hbase讀寫原理

IT那活兒 / 1919人閱讀
hbase讀寫原理

點擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！



HBase讀流程
1. Client先訪問zookeeper，從meta表讀取region的位置，然后讀取meta表中的數(shù)據(jù)。meta中又存儲了用戶表的region信息；
2. 根據(jù)namespace、表名和rowkey在meta表中找到對應(yīng)的region信息；
3. 找到這個region對應(yīng)的regionserver；
4. 查找對應(yīng)的region；
5. 先從MemStore找數(shù)據(jù)，如果沒有，再到BlockCache里面讀；
6. BlockCache還沒有，再到StoreFile上讀(為了讀取的效率)；
7. 如果是從StoreFile里面讀取的數(shù)據(jù)，不是直接返回給客戶端，而是先寫入BlockCache，再返回給客戶端。



HBase寫流程
1. Client向HregionServer發(fā)送寫請求；
2. HregionServer將數(shù)據(jù)寫到HLog（write ahead log）。為了數(shù)據(jù)的持久化和恢復(fù)；
3. HregionServer將數(shù)據(jù)寫到內(nèi)存（MemStore）；
4. 反饋Client寫成功。



數(shù)據(jù)flush過程
1. 當(dāng)MemStore數(shù)據(jù)達(dá)到閾值（默認(rèn)是128M，老版本是64M），將數(shù)據(jù)刷到硬盤，將內(nèi)存中的數(shù)據(jù)刪除，同時刪除HLog中的歷史數(shù)據(jù)；
2. 并將數(shù)據(jù)存儲到HDFS中；



數(shù)據(jù)合并過程
1. 當(dāng)數(shù)據(jù)塊達(dá)到4塊，Hmaster將數(shù)據(jù)塊加載到本地，進(jìn)行合并；
2. 當(dāng)合并的數(shù)據(jù)超過256M，進(jìn)行拆分，將拆分后的Region分配給不同的HregionServer管理；
3. 當(dāng)HregionServer宕機(jī)后，將HregionServer上的hlog拆分，然后分配給不同的HregionServer加載，修改.META.；
4. 注意：HLog會同步到HDFS。



Hlog災(zāi)難恢復(fù)應(yīng)用
1. 背景：大數(shù)據(jù)hbase集群中regionserver大面積重啟。       
2. 現(xiàn)象：regionserver重啟后，前臺業(yè)務(wù)開始積壓，hbase產(chǎn)生大量GC。
3. 處理過程：把gc高積壓高的regionserver服務(wù)再次重啟，重啟幾次后發(fā)現(xiàn)積壓沒有任何改善，后觀察WAL log不斷跟新，后分析應(yīng)該是regionserver重啟導(dǎo)致hlog日志在進(jìn)行恢復(fù)，所以導(dǎo)致產(chǎn)生大量gc進(jìn)而積壓了前端的業(yè)務(wù)。后決定暫時不對regionserver進(jìn)行任何操作，持續(xù)觀察WAL log日志是否在跟新恢復(fù)。
4. 結(jié)果：大概兩個小時左右hlog災(zāi)難恢復(fù)完成后觀察GC發(fā)現(xiàn)幾乎沒有g(shù)c前端業(yè)務(wù)也正常處理積壓沒有持續(xù)增長。



本文作者：徐 苗

本文來源：IT那活兒（上海新炬王翦團(tuán)隊）

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129543.html

相關(guān)文章

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對文本進(jìn)行文法分析，生成語法樹。對語法樹進(jìn)一步進(jìn)行分析，類似程序編譯器的語義分析，對語法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對語法樹應(yīng)用各種規(guī)則，生成不同的執(zhí)行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評論0 收藏0

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對文本進(jìn)行文法分析，生成語法樹。對語法樹進(jìn)一步進(jìn)行分析，類似程序編譯器的語義分析，對語法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對語法樹應(yīng)用各種規(guī)則，生成不同的執(zhí)行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評論0 收藏0

  • HBase基礎(chǔ)

    摘要：回過頭來看關(guān)系數(shù)據(jù)庫，雖然每個表只有兩個維度，但可以通過表之間的關(guān)系來建立高維度屬性來描述事物。屬性識別屬性可以唯一的確定一條數(shù)據(jù)在關(guān)系數(shù)據(jù)庫中作為主鍵，在中作為。 HBase的讀寫流程設(shè)計 寫數(shù)據(jù)：先預(yù)寫日式WAL，和寫入內(nèi)容MemStore。WAL用來在節(jié)點宕機(jī)后恢復(fù)寫入的數(shù)據(jù)。在MemStore寫滿后會寫入磁盤，生成一個新的HFile，一旦寫入不會再修改。一個列族有一個MemS...

    xfee 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<