国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

配置CDH集群及服務

IT那活兒 / 3636人閱讀
配置CDH集群及服務

點擊上方“IT那活兒”公眾號,關注后了解更多內容,不管IT什么活兒,干就完了!!!

CM安裝好以后可以進入CM界面開始安裝CDH相關服務。

登錄Cloudera Manager 管理頁面

在chrome瀏覽器輸入:

http://主節點ip地址:7180,輸入用戶名admin,密碼admin進入管理頁面。

選擇CDH版本

我們選擇免費版本:Cloudera Express版本

注意:

  • 選擇免費版 Cloudera Express;

  • 許可證選項打√;

  • CDH節點數設置為無限制;

  • 選擇核心功能和高級功能。

CDH集群選擇主機

  • 192.168.11.216
  • 192.168.11.217
  • 192.168.11.218

注意:

  • 除了獨立的deepinsight服務器(這里也不可見),其他主機都應該加入;
  • 如果有特殊考慮,可以暫時不加入。

選擇存儲庫

注意:

  • 這里是指CDH及服務安裝包的來源;
  • 原則采用推薦方案:parcel、CDH5.14版本。

啟動安裝過程

注意:

  • 注意這個過程時間比較長,要耐心等待。

檢查主機正確性


/proc/sys/vm/swappiness 未設置為 0。當前設置為 60,修改方法如下:
執行 sysctl vm.swappiness = 0
在/etc/sysctl.conf文件中加入一行 vm.swappiness=0

修改透明最大頁面:

echo never> /sys/kernel/mm/transparent_hugepage/defrag
echo never> /sys/kernel/mm/transparent_hu
gepage/enabled

將此命令添加到一個init腳本中,比如 /etc/rc.local,以確保開機后能繼續生效。

選擇集群服務

選擇hdfs、yarn、zookeeper。

注意:

  • 開始只安裝hdfs、yarn、zookeeper,其余后面安裝。

自定義角色分配

注意:

  • 如果節點數大于3,SecondaryNameNode最好不好也NameNode放在同一節點;
  • 服務的分配參加華為FusionInsight HD產品手冊。

設置群集參數

NameNode數據目錄:/clusterdata/program/dfs/nn
HDFS檢查點目錄:/clusterdata/program/dfs/snn


注意:

  • hdfs選項中去掉hdfs檢查權限避免出現不能訪問hdfs的問題。

首次運行成功

關閉HDFS安全模式


hadoop dfsadmin -safemode leave

添加spark(Standalone)服務(可選)


注意:

  • 正常而言,我們安裝Spark2.x,不需要安裝Spark Standalone;
  • 如果資源不足,可以考慮安裝Standalone服務;
  • Spark服務安裝和前面添加yarn服務操作是一樣的。

本文作者:王 哲(上海新炬王翦團隊)

本文來源:“IT那活兒”公眾號

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/129411.html

相關文章

  • 什么是cdhkerberos

      在CDH集群中,Kerberos常用于為HDFS(Hadoop分布式文件系統)、YARN(Yet Another Resource Negotiator)等Hadoop服務提供安全認證。Kerberos 是一種網絡身份驗證協議,它使用密鑰加密來安全地驗證用戶和服務。使用 Kerberos,用戶必須先使用一組憑據(通常是用戶名和密碼)向 Hadoop 集群驗證自己的身份,然后才能訪問集群上的...

    白馬嘯西風 評論0 收藏0
  • cdh價格-cdh商業版價格

      CDH是Cloudera公司發行的,本身是100%開源的平臺,簡單來說:CDH 是一個匯集集群自動化安裝、中心化管理、集群監控、報警功能于一體的一個工具,這樣的話可以使得集群的安裝可以從幾天的時間縮短為幾個小時,運維人數也會得到相應的減少,可以極大的提高集群管理的效率?! ”緛硎情_源免費的,但是從2019 年忽然宣布宣布,所有的 Cloudera 產品版本必須要付費訂閱了,并且從2021年...

    白馬嘯西風 評論0 收藏0
  • docker安裝cdh

      Docker是一個開源容器引擎,可以輕松地在任何地方打包,運行和分發應用程序.  在Docker上安裝CDH有以下幾個步驟:  安裝Docker: 在你的操作系統上安裝Docker。如果你還沒有安裝Docker,請參考Docker官方文檔來安裝Docker。  下載CDH鏡像: 使用以下命令下載CDH鏡像:  Copy codedocker pull cloudera/quickstart:l...

    白馬嘯西風 評論0 收藏0

發表評論

0條評論

IT那活兒

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<