摘要：一的概念和產(chǎn)生背景什么是另一種資源協(xié)調(diào)者通用資源管理系統(tǒng)為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，為集群在利用率資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處通用資源管理系統(tǒng)數(shù)據(jù)分布式存儲數(shù)據(jù)分塊，冗余存儲當(dāng)多個(gè)任務(wù)要用到相同的數(shù)據(jù)，需要進(jìn)行資源調(diào)度

一、YARN的概念和產(chǎn)生背景
什么是YARN

• Yet Another Resource Negotiator, 另一種資源協(xié)調(diào)者
• 通用資源管理系統(tǒng)
• 為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處

通用資源管理系統(tǒng)

• Hadoop數(shù)據(jù)分布式存儲（數(shù)據(jù)分塊，冗余存儲）
• 當(dāng)多個(gè)MapReduce任務(wù)要用到相同的hdfs數(shù)據(jù)， 需要進(jìn)行資源調(diào)度管理
• Hadoop1.x時(shí)并沒有YARN，MapReduce 既負(fù)責(zé)進(jìn)行計(jì)算作業(yè)又處理服務(wù)器集群資源調(diào)度管理
• 隨著大數(shù)據(jù)技術(shù)的發(fā)展，Spark Storm ... 計(jì)算框架都要用到服務(wù)器集群資源
• 如果沒有通用資源管理系統(tǒng)，只能為多個(gè)集群分別提供數(shù)據(jù)

資源利用率低 運(yùn)維成本高

Yarn (Yet Another Resource Negotiator) 另一種資源調(diào)度器

Mesos 大數(shù)據(jù)資源管理產(chǎn)品
不同計(jì)算框架可以共享同一個(gè)HDFS集群上的數(shù)據(jù)，享受整體的資源調(diào)度

二 YARN的架構(gòu)和執(zhí)行流程

• ResourceManager: RM 資源管理器? 整個(gè)集群同一時(shí)間提供服務(wù)的RM只有一個(gè)，負(fù)責(zé)集群資源的統(tǒng)一管理和調(diào)度? 處理客戶端的請求： submit, kill? 監(jiān)控我們的NM，一旦某個(gè)NM掛了，那么該NM上運(yùn)行的任務(wù)需要告訴我們的AM來如何進(jìn)行處理
• NodeManager: NM 節(jié)點(diǎn)管理器? 整個(gè)集群中有多個(gè)，負(fù)責(zé)自己本身節(jié)點(diǎn)資源管理和使用? 定時(shí)向RM匯報(bào)本節(jié)點(diǎn)的資源使用情況? 接收并處理來自RM的各種命令：啟動Container? 處理來自AM的命令
• ApplicationMaster: AM? 每個(gè)應(yīng)用程序?qū)?yīng)一個(gè)：MR、Spark，負(fù)責(zé)應(yīng)用程序的管理? 為應(yīng)用程序向RM申請資源（core、memory），分配給內(nèi)部task? 需要與NM通信：啟動/停止task，task是運(yùn)行在container里面，AM也是運(yùn)行在container里面
• Container 容器: 封裝了CPU、Memory等資源的一個(gè)容器,是一個(gè)任務(wù)運(yùn)行環(huán)境的抽象
• Client: 提交作業(yè) 查詢作業(yè)的運(yùn)行進(jìn)度,殺死作業(yè)

1，Client提交作業(yè)請求

2，ResourceManager 進(jìn)程和 NodeManager 進(jìn)程通信，根據(jù)集群資源，為用戶程序分配第一個(gè)Container(容器)，并將 ApplicationMaster 分發(fā)到這個(gè)容器上面

3，在啟動的Container中創(chuàng)建ApplicationMaster

4，ApplicationMaster啟動后向ResourceManager注冊進(jìn)程,申請資源

5，ApplicationMaster申請到資源后，向?qū)?yīng)的NodeManager申請啟動Container,將要執(zhí)行的程序分發(fā)到NodeManager上

6，Container啟動后，執(zhí)行對應(yīng)的任務(wù)

7，Tast執(zhí)行完畢之后，向ApplicationMaster返回結(jié)果

8，ApplicationMaster向ResourceManager 請求kill

三 YARN的啟動
啟動yarn

$HADOOP_HOME/sbin/start-yarn.sh

• jps查看進(jìn)程? ResourceManager? NodeManager
• 圖形化界面 http://192,168.19.137:8088
• 停止YARN相關(guān)的進(jìn)程? sbin/stop-yarn.sh