資訊專欄INFORMATION COLUMN
摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入?？蚣芗褐袃H部署。用于做存儲集群，有專屬的節(jié)點機型。節(jié)點管理節(jié)點，負責協(xié)調整個集群服務。目前僅節(jié)點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創(chuàng)建時設置的密碼。
本文檔將帶領您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務。
本章簡單介紹了用戶使用UHadoop服務時如何快速創(chuàng)建集群，如已創(chuàng)建完畢，請?zhí)恋诙虏榭慈绾?a target="_blank" rel="noopener">提交任務。
1、進入產品頁面在“全部產品”菜單中點擊“托管Hadoop集群 UHadoop”進入產品頁面。
也可以將“托管Hadoop集群 UHadoop”設置為快捷方式，通過左側快捷方式菜單欄點擊進入。
2、點擊【創(chuàng)建集群】按鈕3、按需配置【基本設置】4、軟件設置VPC和子網信息必填。詳情參考私有網絡VPC。
該模塊提供集群軟件、集群框架的選擇。
集群框架：
根據(jù)應用場景的不同，可選擇不同的集群框架。
Hadoop框架 集群中同時部署HDFS和YARN，適用于存儲和計算在同一集群。
HDFS框架 集群中僅部署HDFS。用于做存儲集群，有專屬的HDFS節(jié)點機型。
計算框架 不部署HDFS，僅部署YARN。
HDFS框架和計算框架適用于存儲計算分離架構。HDFS集群可作為多個獨立計算集群的存儲集群。 計算集群和存儲集群（Hadoop框架、HDFS框架）的關系是多對一。可以在集群詳情頁看到已經聯(lián)通的集群。
創(chuàng)建計算集群前需要您已有HDFS集群或Hadoop框架的集群。選擇計算集群后，必須要指定【集群存儲】，即指定計算集群讀寫數(shù)據(jù)的位置。
發(fā)行版：
發(fā)行版命名方式：uhadoop [ 版本號 ]
每個發(fā)行版中有多個大數(shù)據(jù)生態(tài)軟件，如HBase、Spark、Hive等。
框架版本：
集群中 Hadoop 的版本，不同發(fā)行版的框架版本不同。
集群種類：
不同種類代表集群會安裝不同的集群軟件。未在此處選擇的軟件，也可在集群創(chuàng)建完成后，通過集群管理添加。
5、節(jié)點設置節(jié)點配額總量 最多可創(chuàng)建的節(jié)點數(shù)量。如需更大配額，可聯(lián)系客戶經理或技術支持申請開通。
Master節(jié)點 管理節(jié)點，負責協(xié)調整個集群服務。一個集群中有且僅有兩個管理節(jié)點，一主一備，保證高可用。 除了基礎服務（如Hadoop、Hive、HBase）的管理端部署在Master上外，一些插件（如Hue、Oozie、Sqoop2、Airflow）也會安裝于Master節(jié)點上，因此，如若安裝大量插件服務，Master節(jié)點配置建議高于C1-2xlarge。
Core節(jié)點 核心節(jié)點，用于存儲數(shù)據(jù)（HDFS）與運行任務。由于核心節(jié)點用于存儲數(shù)據(jù)，因此數(shù)量須大于等于2（默認集群文件副本數(shù)配置為3），您可以根據(jù)業(yè)務需求添加更多的核心節(jié)點。
Task節(jié)點 任務節(jié)點，用于執(zhí)行任務。任務節(jié)點不存儲數(shù)據(jù)，您可以在集群運行期間動態(tài)進行添加和刪除。
不同磁盤類型配置選擇建議 第一參考是數(shù)據(jù)量，數(shù)據(jù)量按照您需求的業(yè)務數(shù)據(jù)量*3計算（HDFS默認將文件存儲3份拷貝，來保證高可用）。 若數(shù)據(jù)量超過6T后，推薦使用密集存儲系列節(jié)點（密集存儲系列采用SATA硬盤，更適合海量數(shù)據(jù)的存儲）。 若對磁盤性能和存儲量都有需求，可使用物理機。
不同CPU、MEM機型的選擇 CPU、MEM的選擇可按照計算復雜度與數(shù)據(jù)讀寫的頻度，如果計算不是很復雜，小配置即可，如果復雜度較高，建議4核以上機型。 Spark對內存需求較大，建議選擇12G MEM以上的機型。
6、訪問設置了解各節(jié)點配置詳情，請參考產品價格。
填充節(jié)點root密碼。
7、等待集群部署根據(jù)集群規(guī)模不同，所需要的部署時間會有所差異，創(chuàng)建時間基本在15分鐘左右。
在集群創(chuàng)建成功后，點擊集群管理，進入集群節(jié)點詳情頁面。
2、登錄集群
通過控制臺登錄。
綁定外網eip，本地可通過外網ssh連接登錄。目前僅master節(jié)點支持綁定。
Eip使用詳情請見EIP說明文檔。
本例中可通過`ssh root@106.75.135.10 -p22`進行登錄。
通過云主機（uhost）內網ssh進行登錄。
本例中可在云主機上通過`ssh root@10.13.186.23 -p22`進行登錄。
3、任務提交登錄密碼為集群創(chuàng)建時設置的密碼。
利用hadoop命令查看hdfs目錄信息
創(chuàng)建目錄，并上傳測試數(shù)據(jù)
[root@uhadoop-******-master1 ~]# hadoop fs -mkdir /input
[root@uhadoop-******-master1 ~]# hadoop fs -put /home/hadoop/conf/* /input執(zhí)行WordCount任務
[root@uhadoop-******-master1 ~]# hadoop jar /home/hadoop/hadoop-examples.jar wordcount /input /output如果/output目錄已存在，請刪除該目錄或使用其他目錄。
查看wordcount任務的結果
[root@uhadoop-******-master1 ~]# hadoop fs -cat /output/part-r-00000
!= 3
"" 6
"". 4
"$HADOOP_CLASSPATH" 1
"$JAVA_HOME" 2
"$YARN_HEAPSIZE" 1
"$YARN_LOGFILE" 1
"$YARN_LOG_DIR" 1
"$YARN_POLICYFILE" 1
"*" 17
...若集群安裝了spark服務，可提交spark任務
spark-submit --master yarn --deploy-mode client --num-executors 1 --executor-cores 1 --executor-memory 1G $SPARK_HOME/examples/src/main/python/pi.py 100屏幕信息中會打印任務執(zhí)行結果：
Pi is roughly 3.141313更多使用內容，請參考 UHadoop開發(fā)指南
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/127035.html
摘要：集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。檢查集群節(jié)點的運行狀態(tài)檢查集群節(jié)點的運行狀態(tài)管理群集上部署的各種服務。如果主節(jié)點遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導致處理速度較慢。 故障排查本篇目錄任務執(zhí)行失敗排查工具故障描述集群運行速度慢任務執(zhí)行失敗1.查看console輸出日志查看任務執(zhí)行時控制臺輸出的log，檢查是否有ERROR2.查看任...
摘要：架構架構元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時可在控制臺開啟元數(shù)據(jù)獨立管理。若項目中已開啟過元數(shù)據(jù)獨立管理，則新集群開啟該功能時，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產品架構元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數(shù)據(jù)庫，可在控制臺對其做管理。產品...
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執(zhí)行 常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節(jié)點上運行（Active NameNode或...
摘要：產品價格產品價格產品價格托管集群價格根據(jù)節(jié)點類型及配置不同，北京上海廣州香港可用區(qū)詳細價格如下，其他可用區(qū)價格請咨詢技術支持。 產品價格托管 Hadoop 集群價格根據(jù)節(jié)點類型及配置不同 ，北京、上海、廣州、香港可用區(qū)詳細價格如下，其他可用區(qū)價格請咨詢技術支持。 節(jié)點類型機型名稱CPU內存(G)硬盤(G)華北一E價格(元/月)國內其他可用區(qū)價格（元/月）Master&?Task?計算優(yōu)化實例...
摘要：創(chuàng)建任務創(chuàng)建任務選擇這個標簽拖動到中。頁面權限控制頁面權限控制頁面權限控制點擊管理用戶組選擇要修改的組名稱，設置相應權限并保存 Hue開發(fā)指南本篇目錄1. 配置工作流2. Hue頁面權限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運行和開發(fā) Pig 腳本以及管理表。服務默認已經啟動，用戶只需要配置外網IP，在防火墻中配...
閱讀 430·2024-11-07 18:25
閱讀 130683·2024-02-01 10:43
閱讀 923·2024-01-31 14:58
閱讀 893·2024-01-31 14:54
閱讀 82948·2024-01-29 17:11
閱讀 3224·2024-01-25 14:55
閱讀 2036·2023-06-02 13:36
閱讀 3133·2023-05-23 10:26
