Mac搭建Hadoop環境
- 2019 年 10 月 8 日
- 筆記
版權聲明：本文為部落客原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
本文鏈接：https://xingqijiang.blog.csdn.net/article/details/78736449
參考官方網站：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
一、準備條件
1、JDK
Hadoop 需要 Java 版本在1.6或以上， 運行java -version 在你的終端中，它會顯示你電腦上安裝的Java版本
2、SSH
生成SSH keys
首先確保遠程登錄(Remote Login)是打開的，在系統配置(System Preferences)->分享(Sharing)中可以設置，如果在終端中輸入ssh localhost有返回，則你已經配置好了SSH keys,如果沒有，可新建：
ssh-keygen -t rsa -P ""
為了避免每次詢問你的密碼，可以授權你的公鑰到本地：
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
現在應該可以使用SSH在你的電腦上了，執行：
ssh localhost
二、安裝
1、安裝homebrew
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)
2、使用brew 進行安裝hadoop
brew install hadoop
3、配置環境變數 sudo vim /etc/profile
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2 export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH
4、配置hadoop
①打開目錄
cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop
②添加下面的行到 hadoop-env.sh :
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
③添加下面的行到core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/2.8.2/data</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
④添加下面的行到hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
⑤添加下面的行到mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
三、初始化
我們必須格式化新安裝的HDFS在我們啟動運行後台程式前，格式並創新空的文件系統通過創建存儲目錄和初始化元數據。進入hadoop安裝目錄，執行
hadoop namenode -format
四、啟動hdfs和yarn
./start-dfs.sh ./start-yarn.sh
五、驗證
1、當啟動完hdfs以及yarn可以打開瀏覽器，輸入以下地址看是否能進入對應的頁面
wordcount demo 傳送門：https://xingqijiang.blog.csdn.net/article/details/99877999
