Linux 下搭建 Hive 环境

2022 年 10 月 18 日
笔记
hive, linux, 大数据, 运维

Linux 下搭建 Hive 环境

作者：Grey

原文地址：

博客园：Linux 下搭建 Hive 环境

CSDN：Linux 下搭建 Hive 环境

前置工作

首先，需要先完成

Linux 下搭建 Kafka 环境

Linux 下搭建 Hadoop 环境

Linux 下搭建 HBase 环境

本文基于上述三个环境已经搭建完成的基础上进行 Hive 的搭建工作。

Hive 版本：2.2.0

如果使用的软件版本不一致，请以官方搭建文档为准。

此外，需要准备一个 MySQL 服务器，我这里准备的 MySQL 服务器 IP 是：192.168.100.129，端口是 3306。

MySQL 的安装参考：CentOS 7 下安装 MySQL 8.x

这里用的 MySQL 版本是：5.7.40

下载地址

注：目前这个版本的 Hive，用 MySQL 5.7 版本不会报错，用MySQL 8.0 版本会报错，

MySQL 的 Connector 版本是：5.1.40

下载地址

注：确保 master 服务器可以访问这个 MySQL 服务器上的 MySQL 服务。，如果用的 MySQL 版本不同，对应的 Connector 需要下载可适配 MySQL 版本的。

安装步骤

Hive 安装在 master 节点上，

将下载好的 Hive 安装包和 MySQL 对应的 Connector 包上传到 /datalake 目录下

apache-hive-2.2.0-bin.tar.gz

mysql-connector-java-5.1.40.tar.gz

解压这几个安装包

cd /datalake

tar -zxvf apache-hive-2.2.0-bin.tar.gz

将解压的软件移动到 /usr/local 目录

cd /datalake

mv apache-hive-2.2.0-bin /usr/local/hive

配置环境变量

vi /etc/profile

将 Hive 添加到环境变量

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

应用环境变量

source /etc/profile

解压 MySQL 的 Connector 包

tar -xzvf mysql-connector-java-5.1.40.tar.gz

将 Connector 的 jar 拷贝到 Hive 的 lib 目录中

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/

修改 Hive 的配置文件

cd $HIVE_HOME/conf && cp hive-default.xml.template hive-site.xml

将 hive-site.xml 的内容设置为

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.100.129:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>dump</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>1234</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
    </property>
</configuration>

注：以上配置根据你自定义的 MySQL 来配置，例如用户名密码和连接信息。

启动 Hive，执行

hive

查看数据库，已经新建出 Schema

测试一下，在 hive 中执行如下命令创建一个表

CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

创建成功并查看这个表的信息

访问：//192.168.100.130:50070/explorer.html#/user/hive/warehouse

可以查看创建的 t2 表信息

Tags: hive linux 大数据运维