資訊專欄INFORMATION COLUMN
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執行
Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節點上運行（Active NameNode或者Active ResourceManager），綁定外網IP,開放對應應用防火墻端口后可以查看。
web hdfs
可以通過在瀏覽器地址欄中輸入 http://外網ip:50070 來查看hdfs的基本信息。
web yarn
可以通過 http://外網IP:23188/cluster 查看yarn resource manager 信息。
注解：由于resource manager可以動態切換，當節點轉換為StandBy節點時，webyarn服務無法切換到active節點。
web hbase
可以通過 http://外網IP:60010/master-status 查看hbase的基本信息。
可在產品界面選擇服務管理，查看相應服務運行的節點位置，登陸對應節點后進入查看所啟動服務的服務日志。
各服務日志所在位置如下所示：
位置說明/var/log/hadoop-hdfshdfs服務相關日志/var/log/hadoop-yarnyarn服務日志/var/log/hadoop-yarnyarn服務日志/var/log/hbasehbase服務日志/var/log/hivehive服務日志/var/log/huehue服務日志/var/log/zookeeperzookeeper服務日志 2.提交到yarn的任務日志用戶可以在web yarn頁面查看提交到yarn上的任務日志詳情。由于任務日志界面需支持能訪問集群各個節點，故可在UCloud云平臺中的任意一臺綁定外網IP的云主機或UHadoop的Master節點上，配置代理或者VPN，以便能夠訪問到集群中的每個節點。
a.配置vpn可參考 配置openvpn文檔配置vpn。
b.配置Nginx反向代理服務端配置注解：配置完成后，可在訪問端加上集群節點中最新的host文件即可（登陸集群中任意節點，查看/etc/hosts）。
安裝Nginx
yum install nginx -y
修改配置
新建/etc/nginx/conf.d/proxy.conf 文件中添加如下配置
server {
listen 8889;
client_body_timeout 60000;
client_max_body_size 1024m;
send_timeout 60000;
client_header_buffer_size 16k;
large_client_header_buffers 4 64k;
proxy_headers_hash_bucket_size 1024;
proxy_headers_hash_max_size 4096;
proxy_read_timeout 60000;
proxy_send_timeout 60000;
location / {
resolver 127.0.0.1;
proxy_pass http://$http_host$request_uri;
}
} 3.啟動nginx服務
service nginx restart4.啟動域名服務
service dnsmasq restart
訪問端配置集群節點發生變化時，需要重新啟動這個服務。
1.在訪問的網頁端配置代理
2.配置hosts
需要在hosts中添加代理服務器的/etc/hosts文件中節點的host信息。
例如：
10.19.43.21 uhadoop-wpmitd-master1
10.19.20.134 uhadoop-wpmitd-core1
10.19.133.58 uhadoop-wpmitd-master2用戶登錄web yarn頁面可通過任務id 來搜索對應任務，查看任務狀態，并點擊任務，獲取任務日志，查看詳情進行分析。
yarn任務的日志在任務運行結束之后會上傳到hdfs上，當日志文件過大無法通過web來查看時，可以通過將日志文件從hdfs上下載下來查看。
日志文件的目錄是：`hdfs://Ucluster/var/log/hadoop-yarn/apps/$SUBMITUSER/logs`
注解：$SUBMITUSER是當前提交用戶的名。
修改master節點下下面兩個配置。
core-site.xml
<property>
<name>hadoop.proxyuser.nfsserver.groupsname>
<value>*value>
<description>nfsserver有哪些group的權限description>
property>
<property>
<name>hadoop.proxyuser.nfsserver.hostsname>
<value>hostnamevalue>
<description>允許啟動nfsserver的主機名description>
property>修改hdfs-site.xml
<property>
<name>nfs.dump.dirname>
<value>/tmp/.hdfs-nfsvalue>
property>
<property>
<name>nfs.rtmaxname>
<value>1048576value>
<description>單次讀請求最大字節數description>
property>
<property>
<name>nfs.wtmaxname>
<value>65536value>
<description>單次寫訪問最大字節數 description>
property>
<property>
<name>nfs.exports.allowed.hostsname>
<value>* rwvalue>
<description>配置掛載主機對文件的訪問權限，例如”192.168.0.0/22 rw ; host.*.example.com ; host1.test.org ro;”description>
property> ${HADOOP_HOME}/sbin/hadoop-daemon.sh start portmap
*一定是root用戶才有權限綁定端口。
${HADOOP_HOME}/sbin/hadoop-daemon.sh start nfs3
*一定是hadoop用戶啟動，才有所有文件的訪問權限。
showmount -e hostname
Export list for hostname:
/ *在nfs.exports.allowed.hosts允許的主機上執行
mkdir -p /data/hdfsnfs
mount -t nfs -o vers=3,proto=tcp,nolock,noacl hostname:/ /data/hdfsnfs文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/126770.html
摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節點機型。節點管理節點，負責協調整個集群服務。目前僅節點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創建時設置的密碼。 快速上手本篇目錄創建集群提交任務本文檔將帶領您如何創建UHadoop集群，并使用UHadoop集群完成數據處理任務。創建集群本章簡單介紹了用戶使用UHadoop服務...
摘要：開發指南開發指南開發指南如果使用進行機器學習方面的數據分析，需要在集群上安裝一些依賴包。以版本為例，安裝方法如下是一款專為科學和工程設計的工具包。以版本為例，安裝方法如下是下，專門面向機器學習的工具包。 developer/pythondev.mdPython開發指南如果使用pyspark進行機器學習方面的數據分析，需要在集群上安裝一些python依賴包。這里將介紹常用的幾個依賴包的安裝方法...
摘要：架構架構元數據管理元數據管理元數據管理創建集群時可在控制臺開啟元數據獨立管理。若項目中已開啟過元數據獨立管理，則新集群開啟該功能時，不再創建新的，而是將新集群的元數據存儲于已有的中。 元數據管理本篇目錄介紹產品架構元數據管理介紹UHadoop 支持將 Hive-Metastore 的數據庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數據庫，可在控制臺對其做管理。產品...
摘要：監控數據查看監控數據查看用戶可于產品界面右側彈框中查看集群監控數據，也可進入監控視圖中進行詳細查看集群及各節點監控數據信息。 基本操作本篇目錄集群管理服務管理告警與監控數據均衡Yarn Application跟蹤集群管理1、進入集群管理頁面通過UHadoop集群列表頁面進入集群管理頁面：2、獲取當前節點配置信息本例中，Master 節點數量 2，機型為 C1-large；Core 節點數量為...
摘要：設置，如果選擇默認，可以直接回車設置，如果選擇默認，可以直接回車創建的同時，也會給創建一個客戶端文件，輸入客戶端文件名這里測試生成一個的文件一路回車下去，會生成文件客戶端客戶端客戶端把部署時生成的客戶端用戶文件，拷貝到本地。 配置openvpn本篇目錄1.服務端2.客戶端3. 配置hosts按以下步驟，可以在綁定EIP的uhost安裝openvpn，下面以centos7操作系統示例：1.服務...
閱讀 430·2024-11-07 18:25
閱讀 130683·2024-02-01 10:43
閱讀 923·2024-01-31 14:58
閱讀 893·2024-01-31 14:54
閱讀 82948·2024-01-29 17:11
閱讀 3224·2024-01-25 14:55
閱讀 2036·2023-06-02 13:36
閱讀 3133·2023-05-23 10:26
