基於偽分散式Hadoop搭建Hive平台詳細教程
一、搭建環境的前提條件
環境:Linux系統
Hadoop-2.6.0
MySQL 5.6
apache-hive-2.3.7
這裡的環境不一定需要和我一樣,基本版本差不多都ok的,所需安裝包和壓縮包自行下載即可。但是注意hive和hadoop都是2.x系列版本的。
這裡提供一個我下載的hive版本的鏈接,讀者有需要可以自取://mirror.bit.edu.cn/apache/hive/hive-2.3.7/
這裡需要提前搭建好hadoop環境和MySQL環境,具體可以看我的部落格鏈接:Hadoop2.0偽分散式平台環境搭建和Linux環境下MySQL 5.6安裝與配置—-親測有效—-純離線安裝
二、搭建的詳細步驟
1.使用mysql來存儲hive元數據
將hive下載完成後解壓到指定目錄下,注意這裡的3.1版本改成我們前面的2.3版本即可。
登錄mysql
建立hive用戶
賦予hive用戶足夠許可權
刷新mysql的系統許可權相關表
重啟mysql服務,注意:這裡需要使用 service mysqld restart 這個命令
使用hive用戶登錄mysql
創建Hive專用元資料庫
2.配置hive
創建配置文件hive-site.xml
在xml輸入以下內容,這裡面的password是剛才創建hive用戶的密碼,我這裡是123456
把mysql的jdbc驅動包複製到hive的lib目錄下,下載網址//dev.mysql.com/downloads/connector/j/,讀者如有需要可聯繫我私發。
hive初始化
初始化的結果
配置PATH環境變數進入profile文件
輸入以下內容
修改配置文件hive-env.sh ,執行以下命令
在hive-env.sh添加以下內容,這裡的jdk與hadoop版本視自己本身情況而定。
3.啟動hive
先開啟hadoop集群,使用jps查看是否開啟
啟動hive
在Hive中創建表student
關閉hive的話使用exit;即可
hive>exit;
使用mysql查看
顯示hive資料庫中的數據表
查看hive的元數據資訊
三、總結
我這篇博文是基於MySQL和Hadoop偽分散式搭建的一個hive平台,在搭建的過程中也遇到了一些問題,也請教了一些同事,最終成功搭建出來了,希望這篇博文能夠對各位有所幫助。