基於偽分散式Hadoop搭建Hive平台詳細教程

一、搭建環境的前提條件

  環境:Linux系統

  Hadoop-2.6.0

  MySQL 5.6

  apache-hive-2.3.7

  這裡的環境不一定需要和我一樣,基本版本差不多都ok的,所需安裝包和壓縮包自行下載即可。但是注意hive和hadoop都是2.x系列版本的。

  這裡提供一個我下載的hive版本的鏈接,讀者有需要可以自取://mirror.bit.edu.cn/apache/hive/hive-2.3.7/

  這裡需要提前搭建好hadoop環境和MySQL環境,具體可以看我的部落格鏈接:Hadoop2.0偽分散式平台環境搭建Linux環境下MySQL 5.6安裝與配置—-親測有效—-純離線安裝

二、搭建的詳細步驟

1.使用mysql來存儲hive元數據

  將hive下載完成後解壓到指定目錄下,注意這裡的3.1版本改成我們前面的2.3版本即可。  

  

  登錄mysql

  

  建立hive用戶

  

  賦予hive用戶足夠許可權

  

  刷新mysql的系統許可權相關表

  

  重啟mysql服務,注意:這裡需要使用 service mysqld restart 這個命令

  

  使用hive用戶登錄mysql

  

  創建Hive專用元資料庫

  

2.配置hive

  創建配置文件hive-site.xml

  

  在xml輸入以下內容,這裡面的password是剛才創建hive用戶的密碼,我這裡是123456

   

  把mysql的jdbc驅動包複製到hive的lib目錄下,下載網址//dev.mysql.com/downloads/connector/j/,讀者如有需要可聯繫我私發。

  

  hive初始化

  

  初始化的結果

  

  配置PATH環境變數進入profile文件

   

  輸入以下內容

  

  修改配置文件hive-env.sh ,執行以下命令

   

  在hive-env.sh添加以下內容,這裡的jdk與hadoop版本視自己本身情況而定。

  

3.啟動hive

  先開啟hadoop集群,使用jps查看是否開啟

   

  啟動hive

   

  在Hive中創建表student

   

  關閉hive的話使用exit;即可

hive>exit;

  使用mysql查看

   

  顯示hive資料庫中的數據表

   

  查看hive的元數據資訊

  

     

三、總結

  我這篇博文是基於MySQL和Hadoop偽分散式搭建的一個hive平台,在搭建的過程中也遇到了一些問題,也請教了一些同事,最終成功搭建出來了,希望這篇博文能夠對各位有所幫助。