国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Hadoop的核心組件

Tecode / 2089人閱讀

摘要：的兩個備份存儲在和兩個服務器上的兩個備份存儲在和兩個服務器上分布式計算框架源于的論文，論文發表于年月是的開源實現特點擴展性容錯性海量數據離線處理資源調度系統負責整個集群資源的管理和調度特點擴展性容錯性多框架資源統一調度

Hadoop Common: 協調其它Hadoop組件的通用工具
Hadoop Distributed File System (HDFS?): A distributed file system that provides high-throughput access to application data.(分布式文件系統)

  • 源自于Google的GFS論文, 論文發表于2003年10月
  • HDFS是GFS的開源實現
  • HDFS的特點:擴展性&容錯性&海量數量存儲
  • 將文件切分成指定大小的數據塊, 并在多臺機器上保存多個副本
  • 數據切分、多副本、容錯等操作對用戶是透明的

下面這張圖是數據塊多份復制存儲的示意

  • 圖中對于文件 /users/sameerp/data/part-0，其復制備份數設置為2, 存儲的BlockID分別為1、3。
  • Block1的兩個備份存儲在DataNode0和DataNode2兩個服務器上
  • Block3的兩個備份存儲在DataNode4和DataNode6兩個服務器上

image.png

Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

  • 分布式計算框架
  • 源于Google的MapReduce論文，論文發表于2004年12月
  • MapReduce是GoogleMapReduce的開源實現
  • MapReduce特點:擴展性&容錯性&海量數據離線處理

image.png

Hadoop YARN: A framework for job scheduling and cluster resource management.(資源調度系統)

  • YARN: Yet Another Resource Negotiator
  • 負責整個集群資源的管理和調度
  • YARN特點:擴展性&容錯性&多框架資源統一調度

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/125956.html

相關文章

  • Hadoop 入門筆記—核心組件 YARN

    摘要：主要由兩個組件構成調度器和應用程序管理器，。主要負責該節點內所有容器的生命周期的管理，監視資源和跟蹤節點健康。主要用來處理來自的命令。一個節點啟動時，它會向進行注冊并推送可用資源信息。應用運行結束后，向注銷自己，并允許屬于它的被收回。 作者：幻好來源：恒生LIGHT云社區基本概述Apache YARN (Yet...

    wanghui 評論0 收藏0

  • Hadoop的核心組件

    摘要：的兩個備份存儲在和兩個服務器上的兩個備份存儲在和兩個服務器上分布式計算框架源于的論文，論文發表于年月是的開源實現特點擴展性容錯性海量數據離線處理資源調度系統負責整個集群資源的管理和調度特點擴展性容錯性多框架資源統一調度Hadoop Common: 協調其它Hadoop組件的通用工具Hadoop Distributed File System (HDFS?): A distributed fi...

    Tecode 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<