摘要:會實時從上讀取信息,進(jìn)行重演,保持與的數(shù)據(jù)同步。如果掛掉了,會監(jiān)控到,向集群發(fā)送心跳報告時會將這一消息報告上去,集群會進(jìn)行選舉,被選舉到的所在節(jié)點的進(jìn)程收到通知,這個會切換的狀態(tài)為。
讀寫:客戶端通過命名空間發(fā)請求,可以無感知的找到active NN,active NN所做操作會保存在editlog文件中,并向JournalNode節(jié)點寫入editlog。DN向NN發(fā)送心跳報告的時候,NN將editlog上的數(shù)據(jù)操作發(fā)送給DN實現(xiàn)。
HA:standby NN會實時從JN上讀取editlog信息,進(jìn)行重演,保持與active NN的數(shù)據(jù)同步。如果active NN掛掉了,ZKFC會監(jiān)控到,向zk集群發(fā)送心跳報告時會將這一消息報告上去,zk集群會進(jìn)行選舉,被選舉到的standby NN所在節(jié)點的ZKFC進(jìn)程收到通知,這個ZKFC會切換NN的狀態(tài)為active。
配置:與zk同理,JN需要配置2n+1個。
HDFS節(jié)點在20個,JN配置5個;
HDFS節(jié)點20~100個,JN配置7/9/11個;
HDFS節(jié)點100以上,JN配置11個即可。
JN配置數(shù)量應(yīng)根據(jù)寫請求的頻繁程度而定,但并非越多越好,太多會因為半數(shù)通過機制而導(dǎo)致性能下降。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/74044.html
摘要:啟動時會向的路徑下寫入文件,寫入成功的則為,否則為。根據(jù)上下文以及從收集到的狀態(tài)信息分配資源并調(diào)度,啟動一個用來運行。負(fù)責(zé)啟動,監(jiān)控所在節(jié)點的資源使用情況,并通過心跳機制報告給。 showImg(https://segmentfault.com/img/bVbqOVb?w=1280&h=720); HA:RM啟動時會向zk的/mrstore路徑下寫入lock文件,寫入成功的則為acti...
摘要:近幾年,深度學(xué)習(xí)高速發(fā)展,出現(xiàn)了大量的新模型與架構(gòu),以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。是由深度學(xué)習(xí)先驅(qū)等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式,旨在修正反向傳播機制。當(dāng)多個預(yù)測一致時本論文使用動態(tài)路由使預(yù)測一致,更高級別的將變得活躍。 近幾年,深度學(xué)習(xí)高速發(fā)展,出現(xiàn)了大量的新模型與架構(gòu),以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。在這篇文章中,香港科技大學(xué)(HKUST)助理教授金成勳總結(jié)了深度網(wǎng)絡(luò)類型之間...
閱讀 2900·2021-11-23 09:51
閱讀 3420·2021-11-22 09:34
閱讀 3319·2021-10-27 14:14
閱讀 1520·2019-08-30 15:55
閱讀 3353·2019-08-30 15:54
閱讀 1081·2019-08-30 15:52
閱讀 1899·2019-08-30 12:46
閱讀 2859·2019-08-29 16:11