摘要：如果沒(méi)有可以動(dòng)動(dòng)您靈活的手指，在搜索欄敲下如何安裝環(huán)境不開(kāi)玩笑了，這個(gè)比較常見(jiàn)。參考資料官網(wǎng)偽分布式教程免密登錄教程介紹

????最近想接觸一些大數(shù)據(jù)相關(guān)的技術(shù),所以有了這篇文章,其實(shí)就是記錄一下自己學(xué)習(xí)hadoop的過(guò)程,如果文章中有啥寫(xiě)的不對(duì)的地方,還望指正(有java開(kāi)發(fā)經(jīng)驗(yàn),但是是大數(shù)據(jù)小白一只,各位大神輕噴.)
我先是在網(wǎng)上搜索了一波大數(shù)據(jù)應(yīng)該要學(xué)些什么技術(shù),基本上不約而同的都是指向了hadoop.
????摘自維基百科:Apache Hadoop鏈接地址.看完維基百科描述,我們大概知道了hadoop是一個(gè)分布式的大數(shù)據(jù)框架，在深入一些我們會(huì)知道
它是由很多個(gè)組件組成的（比如核心的HDFS，Hadoop Distributed File System，Mapreduce框架，還有很多Hive，HBase等等）。所以hadoop其實(shí)也是代指hadoop的一套的生態(tài)系統(tǒng)。光說(shuō)不練假把式，好的我們來(lái)看看怎么安裝，搭建hadoop的環(huán)境呢？

????這里其實(shí)有個(gè)前提，默認(rèn)各位大佬的機(jī)器上已經(jīng)安裝好了linux和java環(huán)境。如果沒(méi)有可以動(dòng)動(dòng)您靈活的手指，在搜索欄敲下“如何安裝linux/java環(huán)境”,不開(kāi)玩笑了，這個(gè)比較常見(jiàn)。
hadoop安裝官網(wǎng)上說(shuō)是有三種方式：
1.單機(jī)模式安裝
2.偽分布式安裝
3.全分布式安裝（真.分布式）
我這里使用的是偽分布式，有人要問(wèn)為啥不用真.分布式呢？
第一是初學(xué)者學(xué)會(huì)了偽分布式，基本上全分布式也是不會(huì)有大問(wèn)題的，只是機(jī)器多了；
第二是因?yàn)樨毟F，

在云服務(wù)器上搭建的，全分布式要搞好幾臺(tái)。2333~ 開(kāi)個(gè)玩笑啦,主要是懶~

去官網(wǎng)下載就可以了，官網(wǎng)鏈接。

點(diǎn)擊source，然后在跳轉(zhuǎn)的頁(yè)面中下載hadoop-3.1.2-src.tar.gz。

tar -zxvf hadoop-3.1.2-src.tar.gz

然后進(jìn)入到 hadoop-3.1.2中，目錄是這樣

bin和sbin是可執(zhí)行腳本的目錄，etc是放hadoop配置文件的目錄。

(1).首先先配置hadoop的環(huán)境文件hadoop-env.sh，進(jìn)入到hadoop-3.1.2/etc/hadoop目錄下，編輯 hadoop-env.sh文件
然后搜索JAVA_HOME,會(huì)發(fā)現(xiàn)兩處，但是可以通過(guò)閱讀英文注釋得知是哪一個(gè)

# Technically, the only required environment variable is JAVA_HOME.
# All others are optional.  However, the defaults are probably not
# preferred.  Many sites configure these options outside of Hadoop,
# such as in /etc/profile.d

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!

在這下面添加export JAVA_HOME=“機(jī)器上的jdk地址”

在環(huán)境變量中添加hadoop的配置，vim /etc/profile,添加hadoop_home

export HADOOP_HOME=/home/hadoop/hadoop-3.1.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

(2).在配置hadoop的核心配置文件core-site.xml，這里配置的是hdfs的NameNode地址和數(shù)據(jù)存儲(chǔ)目錄路徑
在里面添加：

這個(gè)是hdfs的地址

       fs.defaultFS
       hdfs://wxwwt-hadoop:9000
   
hadoop存儲(chǔ)數(shù)據(jù)路徑

     hadoop.tmp.dir
     /home/hadoop/hadoop-3.1.2/data

wxwwt-hadoop這個(gè)是自己隨便取得名字，記得在etc/hosts中配置一下，映射到本地127.0.0.1

(3).配置mapred-site.xml，從名字上就能看出來(lái)是和MapReduce相關(guān)的。指定一下調(diào)度系統(tǒng)的配置

      mapreduce.framework.name
      yarn

(4).配置yarn-site.xml

指定ResouceManager的地址
    
       yarn.resourcemanager.hostname
       wxwwt-hadoop
    
指定MapReduce的方式
    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    

到這里已經(jīng)上hadoop的配置文件是弄完了

hdfs namenode -format

如果能看到類似下面的信息，說(shuō)明格式化成功了

Storage directory /home/hadoop/hadoop-3.1.2/data/dfs/name has been successfully formatted.

不過(guò)在運(yùn)行之前，先得說(shuō)一句如果之前一直使用的root用戶的話，這里運(yùn)行會(huì)報(bào)錯(cuò)。因?yàn)闀?huì)因?yàn)槭莚oot用戶，hadoop不建議使用root用戶。會(huì)報(bào)出

ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.

類似的錯(cuò)誤。
(1).如果想用root用戶繼續(xù)執(zhí)行的話，得在啟動(dòng)腳本start-dfs.sh中添加

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

并且要設(shè)置root的免密登錄。
步驟：

$ ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

(2).如果要使用其他用戶的話，先得將hadoop的目錄權(quán)限給這個(gè)用戶添加下
比如：我要使用wxwwt用戶來(lái)操作

useradd wxwwt
passwd wxwwt
chown -R wxwwt:wxwwt /home/hadoop-3.1.2
su wxwwt

設(shè)置用用戶名密碼，將hadoop目錄權(quán)限給wxwwt，然后切換用戶。再設(shè)置免密登錄

ssh-keygen -t rsa
ssh-copy-id localhost

然后在運(yùn)行hadoop。

start-hdfs.sh執(zhí)行完，看下jps如果出現(xiàn)了NameNode，SecondaryNameNode，DataNode的進(jìn)程就是HDFS啟動(dòng)成功了

啟動(dòng)完后再看下jps，如圖出現(xiàn)了ResourceManager，NodeManager就大功告成。

1.hadoop的一些簡(jiǎn)單概念，它也是一個(gè)大的生態(tài)系統(tǒng)；
2.hadoop安裝分三種模式，單機(jī)，偽分布式，全分布式；文中介紹的是偽分布式，就是在一臺(tái)機(jī)器上弄的；
3.安裝中主要就是按教程添加配置，但是其中還是有坑的，記住啟動(dòng)的時(shí)候root的坑，和免密登錄。

1.https://hadoop.apache.org/doc...（官網(wǎng)偽分布式教程）
2.https://blog.csdn.net/solarac...（免密登錄教程）
3.https://blog.csdn.net/whq1278...
4.https://www.ibm.com/developer...（yarn介紹）