国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Hbase基本介紹和讀寫流程

IT那活兒 / 3258人閱讀
Hbase基本介紹和讀寫流程
一. Hbase介紹

Hbase是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數(shù)據(jù)庫系統(tǒng)。與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存儲能力。
HBase 中的表一般有這樣的特點：

  • ?大：一個表可以有上十億行，上百萬列；

  • 面向列：面向列(族)的存儲和權限控制，列(族)獨立檢索；

  • 稀疏: 對于為空(null)的列，并不占用存儲空間，因此，表可以設計的非常稀疏。


二. Hbase的角色

HBase角色：Hmaster、Regionserver

  • Hmaster作用

Hbase每時每刻只有一個HMaster主服務器程序在運行，HMaster將region分配給RegionServer，協(xié)調(diào)RegionServer的負載并維護集群的狀態(tài)，Hmaster不會對外提供數(shù)據(jù)服務，而是由RegionServer負責所有regions的讀寫請求及操作。

  • Regionserver作用

負責存儲Hbase的實際數(shù)據(jù)維護HMaster分配給它的Hregion處理對這些HRegion的IO請求，也就是說客戶端直接和HRegionServer打交道。


三. Hbase的表結構

  1. HBase Table的組成：
    Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時間戳）+Value（值）
  2. Hbase的表按key來進行regions的分區(qū)
  3. 某個表的多個regions會分布在不同的regionserver上，以增加查詢速度
  4. 為增加寫入的性能，hbase表一般會進行預分區(qū)。
HBase Table的組成：
Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時間戳）+Value（值）
Tips：Hbase表設計不建議使用太多列簇，一般業(yè)務建議3個以內(nèi)為佳。


四. Hbase的讀寫流程

HBase讀流程：

  1. Client客戶端先訪問zookeeper,獲取 meta 表位于哪個Region Server。
  2. 訪問meta 表對應的region server服務器，根據(jù)請求的信息（namespace,table,rowkey)，查詢出目標表位于哪個Region Server中的哪個region。并將該表的region信息，以及meta表的位置信息緩存在客戶端的緩存中，以便下次訪問。
  3. 與目標表所在的region server 進行通訊。
  4. 分別在Block Cache（讀緩存），MemStore和 Store File查詢目標數(shù)據(jù)，并將查到的數(shù)據(jù)進行合并，此處所有數(shù)據(jù)是指同一條數(shù)據(jù)的不同版本（time stamp）或者不同的類型。（Put/Delete）
  5. 將從文件中查詢到的數(shù)據(jù)塊緩存到block cache。
  6. 將合并后的數(shù)據(jù)返回給客戶端。


HBase寫流程：


  1. 客戶端先訪問zookeeper，獲取Meta表位于那個region server。

  2. 訪問Meta表對應的region server服務器，根據(jù)請求的信息（namespace:table/rowkey）,在meta表中查詢出目標數(shù)據(jù)位于哪個region server的哪個region中。并將該表的region信息以及meta表的位置信息緩存到客戶端的meta cache，方便下次訪問。

  3. 與目標數(shù)據(jù)的region server進行通訊。

  4. 將數(shù)據(jù)寫入到WAL中。

  5. 將數(shù)據(jù)寫入到對應的memstore中。

  6. 向客戶端發(fā)送寫入成功的信息。

  7. 等達到memstore的刷寫時機后，將數(shù)據(jù)刷寫到HFILE中。


END


更多精彩干貨分享

點擊下方名片關注

IT那活兒

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129847.html

相關文章

  • Apache Trafodion技術架構介紹

    摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優(yōu)化器對語法樹應用各種規(guī)則，生成不同的執(zhí)行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數(shù)據(jù)庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評論0 收藏0

  • Apache Trafodion技術架構介紹

    摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優(yōu)化器對語法樹應用各種規(guī)則，生成不同的執(zhí)行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數(shù)據(jù)庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<