国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專(zhuān)欄INFORMATION COLUMN

動(dòng)態(tài)拓展flink集群計(jì)算節(jié)點(diǎn)

IT那活兒 / 1534人閱讀
動(dòng)態(tài)拓展flink集群計(jì)算節(jié)點(diǎn)

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。。?/strong>


  

近期由于flink集群的CPU總核數(shù)限制，flink集群已經(jīng)沒(méi)有看可用的slot資源，無(wú)法繼續(xù)在集群上新增flink任務(wù)，所以需要橫向拓展flink集群的計(jì)算節(jié)點(diǎn)。

目前flink的部署模式是flink on yarn，所以只用動(dòng)態(tài)拓展現(xiàn)有的hadoop集群的數(shù)據(jù)節(jié)點(diǎn)即可。


設(shè)置主機(jī)環(huán)境

#修改主機(jī)名稱(chēng)

hostnamectl set-hostname ***
#修改用戶環(huán)境變量
# for hadoop
export HADOOP_HOME=/home/shsnc/domp-product/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export YARN_CONF_DIR=$HADOOP_CONF_DIR
export HADOOP_CLASSPATH=`hadoop classpath`
設(shè)置完成后:
#重新加載用戶環(huán)境配置文件:
source .bash_profile

修改所有主機(jī)的/etc/hosts文件,加入新加入機(jī)器的IP和主機(jī)名，新加入主機(jī)的/etc/hosts文件中加入所有主機(jī)的IP和主機(jī)名.

配置免密登錄

此處不做額外說(shuō)明.

安裝并配置hadoop

#修改hadoop的slaves配置，添加所有的主機(jī)節(jié)點(diǎn)IP地址.

vi /home/shsnc/domp-product/hadoop/etc/hadoop/slaves
#在現(xiàn)有的hadoop集群上，將hadoop打包，并排除數(shù)據(jù)目錄和日志目錄.
tar -Pczvf /home/shsnc/domp-product.tar.gz /home/shsnc/domp-
product/* --exclude=/home/shsnc/domp-product/hadoop/data --
exclude=/home/shsnc/domp-product/hadoop/logs
#利用scp將打包后的文件傳輸?shù)郊磳⒓尤爰旱闹鳈C(jī)中.
scp domp-product.tar.gz ***@***:./domp-product/
#到目標(biāo)服務(wù)器中解壓文件.
tar -xzvf domp-product.tar.gz
至此完成hadoop組件的安裝，接下來(lái)需要修改配置文件:
1) 修改core-site.xml
<property>
<name>fs.default.namename>
<value>hdfs://主節(jié)點(diǎn)主機(jī)名:服務(wù)端口value>
property>
2) 修改yarn-site.xml
<property>
<name>yarn.timeline-service.hostnamename>
<value>主節(jié)點(diǎn)主機(jī)名value>
property>
<property>
<name>yarn.log.server.urlname>
<value>http://主節(jié)點(diǎn)主機(jī)名:服務(wù)端口/jobhistory/logs/value>
property>
<property>
<name>yarn.resourcemanager.webapp.addressname>
<value>主節(jié)點(diǎn)主機(jī)名:服務(wù)端口value>
property>
<property>
<name>yarn.nodemanager.addressname>
<value>當(dāng)前節(jié)點(diǎn)主機(jī)名:服務(wù)端口value>
property>


啟動(dòng)新節(jié)點(diǎn)上的datanode和nodemanager服務(wù)

#啟動(dòng)服務(wù):

./hadoop-deamon.sh start datanode
./yarn-deamon.sh start nodemanager
啟動(dòng)datanode時(shí)，可能報(bào)錯(cuò)VERSION版本不對(duì)，需要修改新增節(jié)點(diǎn)的VERSION.
vi /home/shsnc/domp-product/hadoop/data/hdfs/datanode/current/VERSION

將VERSION文件中的clusterID修改為和原集群一樣后，重啟datanode.

刷新并調(diào)整集群狀態(tài)

#刷新數(shù)據(jù)節(jié)點(diǎn)，將新節(jié)點(diǎn)加載到集群中:

hadoop/bin/hdfs refreshNodes
#查看節(jié)點(diǎn)數(shù)量，節(jié)點(diǎn)數(shù)量從5變?yōu)?，證明節(jié)點(diǎn)已經(jīng)納入集群中.
hdfs fsck /


#平衡節(jié)點(diǎn)數(shù)據(jù):

start-balancer.sh

#查看所有節(jié)點(diǎn)信息:

hdfs dfsadmin -report


以上就完成了整個(gè)集群的動(dòng)態(tài)拓展！


本文作者：胡京康（上海新炬王翦團(tuán)隊(duì)）

本文來(lái)源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/129304.html

相關(guān)文章

  • Flink 靈魂兩百問(wèn)，這誰(shuí)頂?shù)米。?/b>

    摘要：由于配置流是從關(guān)系型數(shù)據(jù)庫(kù)中讀取，速度較慢，導(dǎo)致實(shí)時(shí)數(shù)據(jù)流流入數(shù)據(jù)的時(shí)候，配置信息還未發(fā)送，這樣會(huì)導(dǎo)致有些實(shí)時(shí)數(shù)據(jù)讀取不到配置信息。從數(shù)據(jù)庫(kù)中解析出來(lái)，再去統(tǒng)計(jì)近兩周占比。 Flink 學(xué)習(xí) https://github.com/zhisheng17/flink-learning 麻煩路過(guò)的各位親給這個(gè)項(xiàng)目點(diǎn)個(gè) star，太不易了，寫(xiě)了這么多，算是對(duì)我堅(jiān)持下來(lái)的一種鼓勵(lì)吧！ showI...

    Guakin_Huang 評(píng)論0 收藏0

  • Flink 全網(wǎng)最全資源（視頻、博客、PPT、入門(mén)、實(shí)戰(zhàn)、源碼解析、問(wèn)答等持續(xù)更新）

    摘要：由于配置流是從關(guān)系型數(shù)據(jù)庫(kù)中讀取，速度較慢，導(dǎo)致實(shí)時(shí)數(shù)據(jù)流流入數(shù)據(jù)的時(shí)候，配置信息還未發(fā)送，這樣會(huì)導(dǎo)致有些實(shí)時(shí)數(shù)據(jù)讀取不到配置信息。從數(shù)據(jù)庫(kù)中解析出來(lái)，再去統(tǒng)計(jì)近兩周占比。 showImg(https://segmentfault.com/img/remote/1460000019367651); Flink 學(xué)習(xí)項(xiàng)目代碼 https://github.com/zhisheng17/f...

    Dr_Noooo 評(píng)論0 收藏0

  • UCloud一站式智能大數(shù)據(jù)平臺(tái)USDP免費(fèi)版正式發(fā)布！

    摘要：企業(yè)微信截圖企業(yè)微信截圖兼容最廣的一站式智能大數(shù)據(jù)平臺(tái)涵蓋了等眾多開(kāi)源大數(shù)據(jù)組件，支持對(duì)這些組件進(jìn)行運(yùn)維中臺(tái)建設(shè)數(shù)據(jù)開(kāi)發(fā)業(yè)務(wù)可視化等全棧式大數(shù)據(jù)開(kāi)發(fā)運(yùn)維管理。通過(guò)一站式智能大數(shù)據(jù)平臺(tái)支持的等分布式運(yùn)算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)。背景在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲(chǔ)進(jìn)行擴(kuò)展的，目前開(kāi)源的主流存儲(chǔ)技術(shù)棧主要包含如下 3 種類(lèi)型：· HDFS：Hadoop 系列套件，包含...

    Tecode 評(píng)論0 收藏0

  • UCloud發(fā)布一站式智能大數(shù)據(jù)平臺(tái)USDP免費(fèi)版附USDP資源下載地址

    摘要：機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)通過(guò)算法對(duì)大量數(shù)據(jù)進(jìn)行分析，挖掘出其中蘊(yùn)含的規(guī)律，并用于事物預(yù)測(cè)或者分類(lèi)，有大量的計(jì)算需求。通過(guò)一站式智能大數(shù)據(jù)平臺(tái)支持的等分布式運(yùn)算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)。在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲(chǔ)進(jìn)行擴(kuò)展的，目前開(kāi)源的主流存儲(chǔ)技術(shù)棧主要包含如下 3 種類(lèi)型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...

    Tecode 評(píng)論0 收藏0

  • 《從0到1學(xué)習(xí)Flink》—— Apache Flink 介紹

    摘要：擴(kuò)展庫(kù)還包括用于復(fù)雜事件處理，機(jī)器學(xué)習(xí)，圖形處理和兼容性的專(zhuān)用代碼庫(kù)。事件時(shí)間機(jī)制使得那些事件無(wú)序到達(dá)甚至延遲到達(dá)的數(shù)據(jù)流能夠計(jì)算出精確的結(jié)果。負(fù)責(zé)接受用戶的程序代碼，然后創(chuàng)建數(shù)據(jù)流，將數(shù)據(jù)流提交給以便進(jìn)一步執(zhí)行。 showImg(https://segmentfault.com/img/remote/1460000016902812); 前言 Flink 是一種流式計(jì)算框架，為什么我...

    flyer_dev 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<