1、大數據 Hadoop配置和單機Hadoop系統配置
#查看服務器ip
ip add
#設置主機名稱
hostnamectl set-hostname master
bash
#查看
hostname
#綁定ip
vi /etc/hosts
添加
服務器IP地址 master
#查看ssh狀態
systemctl status sshd
active (running)
#關閉防火牆
systemctl stop firewalld
#查看防火牆狀態
systemctl status firewalld
#永久關閉防火牆
systemctl disable firewalld
創建hadoop用戶並設置密碼
安裝jdk
vi /etc/profile
#環境變量
export JAVA_HOME=jdk安裝根目錄全路徑
export PATH=$PATH:$JAVA_HOME/bin
#執行使生效
source /etc/profile
#查看是否可用
echo $JAVA_HOME
# 查看jdk安裝
java -version
安裝配置Hadoop環境
解壓
vi /etc/profile
配置環境變量
# HADOOP_HOME 指向 JAVA 安裝目錄
export HADOOP_HOME=hadoop安裝根目錄全路徑
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#執行使生效
source /etc/profile
#檢查
hadoop
#修改目錄所有者和組
chown -R hadoop:hadoop 安裝目錄全路徑
安裝單機hadoop系統
進入hadoop根目錄
vi etc/hadoop/hadoop-env.sh
查找export JAVA_HOME修改等號後面為jdk路徑
進入hadoop用戶
創建imput目錄
寫一個統計文件,測試 MapReduce 運行
hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output
查看輸出目錄
查看輸出目錄下part-r-00000文件
遞歸刪除輸出目錄
