Hive基礎語法5分鐘速覽
Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。
1.hive創建數據庫
CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name>;
2.hive創建表
hive里一般有兩種表的結構,表(內部表)和外部表,以下分別是兩種表的創建代碼:
--內部表
CREATE TABLE phone_info(id int, name String, storage String, price double)
ROW FORMAT DELIMITED //代表一行是一條記錄
FIELDS TERMINATED BY '\t'//列是按照table鍵分開
STORED AS TEXTFILE[SEQUENCEFILE];//二種最常見的存儲格式,一般可以不寫
--外部表
CREATE EXTERNAL TABLE phone_external(id int, name String, price double)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '</zengzc/phone.txt>';//這裡填寫外部表數據的hdfs地址,若不指定,則默認存儲於/user/hive/warehouse文件夾下以外部表的表名創建一個文件夾,並將屬於這個表的數據存放在這裡;這裡也是內部表的存儲位置。
3.hive表中導入數據
load data local inpath '/home/zengzc/xxx.txt' into table phone_info;
4.hive刪除表
DROP TABLE IF EXISTS phone_info;
5.hive創建臨時表存儲中間結果
CREATE TABLE temp_info AS
SELECT id phone_id, name phone_name, price FROM phone_info
SORT BY phone_id;
6.hive簡單的查詢語句
SELECT * FROM temp_info;
SELECT id phone_id,name phone_name FROM phone_info;
SELECT a.ip,a.name,b.username FROM phone_info a INNER JOIN user b on (a.ip=b.ip);
7.hive批量插入數據到表
CREATE TABLE phone_info_like LIKE phone_info; //複製表的結構
INSERT INTO phone_info_like SELECT * FROM phone_info;
INSERT OVERWRITE phoen_info_like SELECT * FROM phone_info; //into是追加數據,overwrite是覆蓋以及存在的數據,屬於重複性校驗
8.hive分區表
CREATE TABLE part_table (
id int,
name String,
ip String,
city String,
date String
)
PARTITIONED BY (part_flag String) //這裡的分區字段可以是表中字段也可以是指定的字段
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';
load data local inpath '/home/zengzc/test.txt' into table part_table partition(part_flag='part1');
load data local inpath '/home/zengzc/test1.txt' into table part_table partition(part_flag='part2');
select * from part_table where part_flag='part1';