Mac搭建Hadoop环境
- 2019 年 10 月 8 日
- 筆記
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://xingqijiang.blog.csdn.net/article/details/78736449
参考官方网站：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
一、准备条件
1、JDK
Hadoop 需要 Java 版本在1.6或以上， 运行java -version 在你的终端中，它会显示你电脑上安装的Java版本
2、SSH
生成SSH keys
首先确保远程登录(Remote Login)是打开的，在系统配置(System Preferences)->分享(Sharing)中可以设置，如果在终端中输入ssh localhost有返回，则你已经配置好了SSH keys,如果没有，可新建：
ssh-keygen -t rsa -P ""
为了避免每次询问你的密码，可以授权你的公钥到本地：
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
现在应该可以使用SSH在你的电脑上了，执行：
ssh localhost
二、安装
1、安装homebrew
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)
2、使用brew 进行安装hadoop
brew install hadoop
3、配置环境变量 sudo vim /etc/profile
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2 export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH
4、配置hadoop
①打开目录
cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop
②添加下面的行到 hadoop-env.sh :
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
③添加下面的行到core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/2.8.2/data</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
④添加下面的行到hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
⑤添加下面的行到mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
三、初始化
我们必须格式化新安装的HDFS在我们启动运行后台程序前，格式并创新空的文件系统通过创建存储目录和初始化元数据。进入hadoop安装目录，执行
hadoop namenode -format
四、启动hdfs和yarn
./start-dfs.sh ./start-yarn.sh
五、验证
1、当启动完hdfs以及yarn可以打开浏览器，输入以下地址看是否能进入对应的页面
wordcount demo 传送门：https://xingqijiang.blog.csdn.net/article/details/99877999
