$hive -help
Usage: hive [--config confdir] [-hiveconf x=y]* [-i <init-filename>]*[<-f filename>|<-e query-string>] [-S]
-u username
-p [password]
-i <filename> init Sql file
-e 'quoted query string' Sql from command line
-f <filename> Sql from files
-S Silent mode in interactive shell
-e and -f cannot be specified together. In the absence of these
options, interactive shell is started
-f 可以把命令写在文件里
-S 只输出最终结果
官方文档内容
建表
可以整表注释也可对单字段注释。partition为分区,并不属于数据部分,决定了存储目录结构。cluster为了优化性能,预先排列,方便快速查询。ASCII 001(ctrl-A) 默认字段分隔,换行为默认行分隔。
CREATE TABLE page_view(viewTime INT, userid BIGINT,
page_url STRING, referrer_url STRING,
friends ARRAY<BIGINT>, properties MAP<STRING, STRING>
ip STRING COMMENT 'IP Address of the User')
COMMENT 'This is the page view table'
PARTITIONED BY(dt STRING, country STRING)
CLUSTERED BY(userid) SORTED BY(viewTime) INTO 32 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '1'
COLLECTION ITEMS TERMINATED BY '2'
MAP KEYS TERMINATED BY '3'
STORED AS SEQUENCEFILE;
查看表和分区信息
加extended可以查看详细信息,里面有location:hdfs://可以看到文件存储路径
SHOW TABLES;
SHOW TABLES 'page.*';
SHOW PARTITIONS page_view;
DESCRIBE page_view;
DESCRIBE EXTENDED page_view;
DESCRIBE EXTENDED page_view PARTITION (ds='2008-08-08');
将文件中数据导入hive表
当文件中数据和表结构不一样时,先按文件格式建表,将文件put到表的路径下。
用select语句选出所需信息,插入到最终表。External关键字表示和文件独立。把表drop掉数据文件还在。
CREATE EXTERNAL TABLE page_view_stg(viewTime INT, userid BIGINT,
page_url STRING, referrer_url STRING,
ip STRING COMMENT 'IP Address of the User',
country STRING COMMENT 'country of origination')
COMMENT 'This is the staging page view table'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '44' LINES TERMINATED BY '12'
STORED AS TEXTFILE
LOCATION '/user/data/staging/page_view';
hadoop dfs -put /tmp/pv_2008-06-08.txt /user/data/staging/page_view
FROM page_view_stg pvs
INSERT OVERWRITE TABLE page_view PARTITION(dt='2008-06-08', country='US')
SELECT pvs.viewTime, pvs.userid, pvs.page_url, pvs.referrer_url, null, null, pvs.ip
WHERE pvs.country = 'US';
当文件格式和表格式一致,直接导入。
本地路径形式,加local关键字
LOAD DATA LOCAL INPATH {{/tmp/pv_2008-06-08_us.txt}} INTO TABLE page_view PARTITION(date='2008-06-08', country='US')
分布式集群路径
LOAD DATA INPATH '/user/data/pv_2008-06-08_us.txt' INTO TABLE page_view PARTITION(date='2008-06-08', country='US')
Join操作
tb1 数据
id province
1 neimenggu
2 zhejiang
3 jiangsu
4 shandong
5 sichuan
tb2 数据
id capital
2 hangzhou
3 nanjing
4 jinan
5 chengdu
6 kunming
select a.id,a.capital,b.province from tb1 a left outer join tb2 b on (a.id = b.id);
1 neimenggu NULL
2 zhejiang hangzhou
3 jiangsu nanjing
4 shandong jinan
5 sichuan chengdu
select a.id,a.capital,b.province from tb1 a right outer join tb2 b on (a.id = b.id);
2 zhejiang hangzhou
3 jiangsu nanjing
4 shandong jinan
5 sichuan chengdu
NULL NULL kunming
select a.id,a.capital,b.province from tb1 a full outer join tb2 b on (a.id = b.id);
1 neimenggu NULL
2 zhejiang hangzhou
3 jiangsu nanjing
4 shandong jinan
5 sichuan chengdu
NULL NULL kunming
select a.id,a.capital,b.province from tb1 a join tb2 b on (a.id = b.id);
2 zhejiang hangzhou
3 jiangsu nanjing
4 shandong jinan
5 sichuan chengdu
select a.id,a.capital from tb1 a left semi join tb2 b on (a.id = b.id);
2 zhejiang
3 jiangsu
4 shandong
5 sichuan
总结:left outer join 左侧所有会出现 right outer join 右侧所有会出现
full outer join 两侧所有会出现 join 两侧共有的会出现
left semi join 在右侧出现过的,但只能select左侧属性,上述两侧属性均可select
分享到:
相关推荐
本文档为总结的hive基础知识,包括hive服务、变量和属性、日志、表操作……等基础知识。
hive基础语法的详细介绍,是新手入门必须掌握的技能,文档中的代码可直接操作
HiveSQL基础(一).pdf
HIVE基础入门资料,主要目录包含Hive概述、HIve SQL基础、常见问题及规范 和HIVE SQL优化。 1、适合学习对象: 数据仓库IT人员 数据分析人员 对Hive及分布式系统有一定基础的学员 2、课程目标: 希望授课对象...
Hive入门基础知识.pdf
Hive简介,包括Hive的来源,系统的架构 Hive基础语法,包括 Hive各种函数 Hive编程,导入、导出、建表、分区、自定义函数
hive入门
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询...
hive基础查询文档上传
Hive基础,详解介绍HIVESQL中的语法
hive基础文档入门,安装配置创建删除表。hive.创建删除
HVIE 基础入门培训,深入浅出讲解了HIVE搭建,自定义函数等等开发方案
hive-part1-基础知识.pdfhive-part1-基础知识.pdfhive-part1-基础知识.pdfhive-part1-基础知识.pdf
大数据技术基础实验报告-Hive安装配置与应用
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
HiveSQL基础(二).pdf
hive基础知识复习笔记.zip
文章Hive面试题SQL测试题目所需数据,包含建表语句 测试数据等等...................
HiveSQL基础Day02
Hive 简明教程 第一部分:完全以日常使用为目标,整理了常用的Hive 语法,而抛弃了不常用的部分,用来 满足不懂技术的分析人员来快速使用Hive 进行常见的日常数据分析。...高效和灵活地使用Hive 提供技术基础