大數據學習——搭建第一台Hadoop主機

2021 年 11 月 15 日
筆記
linux, VMware, 大數據

類型：學習筆記

參考：尚矽谷大數據系列教程

工具準備

1、VMware

2、CentOS 7 最小安裝版

3、遠程工具推薦使用 FinalShell

安裝系統

1、打開VMware，根據自己的情況配置好虛擬機，選擇系統鏡像就可以安裝了，可自行百度「VMware如何安裝CentOS」

2、打開虛擬機後，選中Test this media & install CentOS 7，回車進行安裝

3、語言設置為中文：簡體中文

4、時間日期：根據實際情況設置即可

5、配置磁碟，使用默認配置也行

選中我要配置分區，點擊完成，進入手動分區

/boot：1G
swap：4G
/：剩下全部

6、學慣用機，可以關閉KDUMP

7、設置完成後，可以點擊開始安裝，安裝過程中記得設置root用戶密碼

配置網路

我們需要配置3處

1、配置VMware

右上角編輯->虛擬機網路編輯器，進入更改設置後，選中VMnet8進行設置

子網IP：192.168.10.0
子網掩碼：255.255.255.0
在NAT設置中將網關設置為：192.168.10.2

2、配置Windows網卡

我們打開網路連接介面：按「Win+R」，打開【運行】；輸入「ncpa.cpl」，回車。

找到VMnet8，右鍵屬性，找到「Internet 協議版本 4（TCP/IPv4）」，雙擊進入屬性設置

根據步驟一，填入對應位置

3、配置CentOS 7

我們以root用戶登錄

vi /etc/sysconfig/network-scripts/ifcfg-ens33

將BOOTPROTO="dynamic"更改為BOOTPROTO="static"

在最後添加下面幾句，注意不要拼寫錯誤

IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

修改hostname，改為hadoop100（隨意啦，你自己記得就行）

vi /etc/hostname

添加主機名和IP的映射關係（方便用主機名代替IP）

vi /etc/hosts

#我就象徵性寫了幾個，後面用到再添加也可以 
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

重啟

reboot

4、測試網路

重啟進入系統後，測試網路是否暢通

ping www.baidu.com

如果網路不可達，注意檢查拼寫錯誤。網路暢通是必須的，解決完再進行下一步哦。

配置環境

1、最小系統需要安裝下面的工具

net-tool工具包

yum install -y net-tools

vim編輯器

yum install -y vim

epel-release軟體倉庫

yum install -y epel-release

rsync：數據同步工具

yum install -y rsync

2、關閉防火牆，禁用開機自啟（學慣用途）

systemctl stop firewalld
systemctl disable firewalld.service

3、創建用戶，並修改密碼

useradd swcode
passwd swcode

4、配置用戶的root許可權，否則sudo無法執行

vim /etc/sudoers
# 在 %wheel 下面添加，NOPASSWD無需密碼
swcode  ALL=(ALL)       NOPASSWD:ALL

:wq!強制保存即可

5、在/opt目錄下創建文件夾，並修改所屬主和所屬組(root下執行)

mkdir /opt/module
mkdir /opt/software

chown swcode:swcode /opt/module
chown swcode:swcode /opt/software

下面是成功的樣子

drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 module
drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 software

6、卸載虛擬機自帶JDK（最小版是沒有的，可以忽略這一步）

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查詢所安裝的所用rpm軟體包
grep -i：忽略大小寫
xargs -n1：每次只傳遞一個參數
rpm -e --nodeps：強制卸載軟體

7、重啟虛擬機

reboot

Tags: linux VMware 大數據