資訊專欄INFORMATION COLUMN
摘要：創建任務創建任務選擇這個標簽拖動到中。頁面權限控制頁面權限控制頁面權限控制點擊管理用戶組選擇要修改的組名稱，設置相應權限并保存
Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發 Hive 查詢、管理 HDFS 中的文件、運行和開發 Pig 腳本以及管理表。服務默認已經啟動，用戶只需要配置外網IP，在防火墻中配置開放端口就可以了。如果沒有安裝hue，可以在集群的"服務管理"頁面開啟Hue。
訪問地址: http://外網ip:8888
默認用戶名/密碼：hadoop/hadoop或者hue/hue， 用戶登陸后可以自行更改。
啟用Hue的工作流功能，需要在集群上安裝。可以在集群的"服務管理"頁面啟用Oozie。
1.1 創建新的工作流在瀏覽器中依次點擊【Workflows】->【Editors】->【Wokflows】，進入Workflow Editor。然后點擊頁面右側的【Create】按鈕。
從action中拖動spark的標簽到工作流中。點擊右上角的【Settings】按鈕，出現一個彈出窗口，我們可以在這里為Workflow設置變量名，并設置Workspace。
現在，添加input和output這兩個變量，并將Workspace設置為HDFS的目錄/user/admin/workspaces，如下：
設置好后，點擊右上角的叉關閉這個彈出窗口，回到之前的頁面（現在還需要自己將Spark Job所需的Jar包放入相應的HDFS目錄中）。
我們將【Spark】圖標拖到相應的位置，然后繼續進行設置。我們設置了Jar包的路徑 lib/oozie-examples.jar。還要設置main class。
注意這是HDFS路徑，且是相對于Workspace的路徑（所以實際路徑就是/user/admin/workspaces/lib/oozie-examples.jar）
由于這個main class的作用的是復制HDFS的文件，它在運行時需要給main方法傳入兩個參數，分別是src path和dest path，所以這里我們繼續添加參數，如下圖：
這里的${input}和${output}就是之前我們在【settings】中設置的變量名。
好了，一切都設置好了之后，點擊右上角的【Save】按鈕。
1.3 創建Hive任務uhadoop上使用的是hive-server2，所以這里選擇hive-server2標簽拖動到action中。
然后，將準備好的sql腳本上傳到hdfs上，并配置提交任務的參數
如果定義了ufd可以通過文件的參數來指定
最后，保存工作流。
選擇sqoop1這個標簽拖動到action中。然后，添加需要執行的Sqoop命令。
注意：
1.密碼不能加額外的引號，hue會把-p 參數后面的所有內容都解釋為密碼；
2.Sqoop 要把任務分發到所有的集群節點，要保證集群所有節點對目標數據庫的讀寫權限。
最后，保存工作流。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/126757.html
摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節點機型。節點管理節點，負責協調整個集群服務。目前僅節點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創建時設置的密碼。 快速上手本篇目錄創建集群提交任務本文檔將帶領您如何創建UHadoop集群，并使用UHadoop集群完成數據處理任務。創建集群本章簡單介紹了用戶使用UHadoop服務...
摘要：集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。檢查集群節點的運行狀態檢查集群節點的運行狀態管理群集上部署的各種服務。如果主節點遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導致處理速度較慢。 故障排查本篇目錄任務執行失敗排查工具故障描述集群運行速度慢任務執行失敗1.查看console輸出日志查看任務執行時控制臺輸出的log，檢查是否有ERROR2.查看任...
摘要：開發指南開發指南開發指南本篇目錄運行運行定義定義定義工作流，為將多個按照一定的順序組織起來，按照既定的路徑運行的一個整體。配置將定時調度頻率改為分鐘。一個會創建并執行。例如，，，，則時間為動作的實際創建時間。 Oozie開發指南本篇目錄1. 運行Coordinator Job2. Coordinator Action3. Coordinator Application4. Coordinat...
摘要：架構架構元數據管理元數據管理元數據管理創建集群時可在控制臺開啟元數據獨立管理。若項目中已開啟過元數據獨立管理，則新集群開啟該功能時，不再創建新的，而是將新集群的元數據存儲于已有的中。 元數據管理本篇目錄介紹產品架構元數據管理介紹UHadoop 支持將 Hive-Metastore 的數據庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數據庫，可在控制臺對其做管理。產品...
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執行 常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節點上運行（Active NameNode或...
閱讀 430·2024-11-07 18:25
閱讀 130683·2024-02-01 10:43
閱讀 923·2024-01-31 14:58
閱讀 893·2024-01-31 14:54
閱讀 82948·2024-01-29 17:11
閱讀 3224·2024-01-25 14:55
閱讀 2036·2023-06-02 13:36
閱讀 3133·2023-05-23 10:26
