Hive教程（三）---Hive数据类型

2020-05-08 23:46:11 228 收藏 原力计划
分类专栏： Hive2.3+ 从入门到实战
最后发布:2020-05-08 23:46:11首次发布:2020-05-08 23:46:11
版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/106009218
版权

目录

3.1基本数据类型

3.2集合数据类型

3.3类型转化

3.4集合数据类型创建和查询

       3.4.1 map类型创建和查询
       3.4.2 array类型创建和查询
       3.4.3 struct类型创建和查询
       3.4.4 explode在map和array使用
       3.4.5 Lateral View在map和array使用
表1-1 基本数据类型
Hive数据类型Java数据类型长度例子
TINYINTbyte1byte有符号整数20
SMALINTshort2byte有符号整数20
INTint4byte有符号整数20
BIGINTlong8byte有符号整数20
BOOLEANboolean布尔类型，true或者falseTRUE FALSE
FLOATfloat单精度浮点数3.14159
DOUBLEdouble双精度浮点数3.14159
STRINGstring字符系列。可以指定字符集。可以使用单引号或者双引号。‘now is the time’ “for all good men”
TIMESTAMP时间类型
BINARY字节数组

       对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。

3.2集合数据类型

表1-2 集合数据类型
数据类型描述语法示例
STRUCT(结构体)对象和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。struct()
MAP 映射MAP是一组键-值对元组集合，使用数组表示法可以访问数据。例如，如果某个列的数据类型是MAP，其中键->值对是’first’->’John’和’last’->’Doe’，那么可以通过字段名[‘last’]获取最后一个元素map()
ARRAY 数组数组是一组具有相同类型和名称的变量的集合。这些变量称为数组的元素，每个数组元素都有一个编号，编号从零开始。例如，数组值为[‘John’, ‘Doe’]，那么第2个元素可以通过数组名[1]进行引用。Array()

       Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。
        案例实操
       （1）假设某表有如下一行，我们用JSON格式来表示其数据结构。在Hive下访问的格式为

{
    "name": "songsong",
    "friends": ["bingbing" , "lili"] ,   //列表Array, 
    "children": {                        //键值Map,
        "xiao song": 18 ,
        "xiaoxiao song": 14
    }
    "address": {                         //结构Struct,
        "street": "hui long guan" ,
        "city": "beijing" 
    }
}

       （2）基于上述数据结构，我们在Hive里创建对应的表，并导入数据。
创建本地测试文件test.txt

songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

注意：MAP，STRUCT和ARRAY里的元素间关系都可以用同一个字符表示，这里用“_”。

3）Hive上创建测试表test

create table test(
name string,
friends array<string>,
children map<string, int>,
address struct<street:string, city:string>
)
row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';

字段解释：
row format delimited fields terminated by ','  -- 列分隔符
collection items terminated by '_'  	--MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ':'				-- MAP中的key与value的分隔符
lines terminated by '\n';					-- 行分隔符

4）导入文本数据到测试表

hive (default)> load data local inpath ‘/opt/module/datas/test.txt’into table test

5）访问三种集合列里的数据，以下分别是ARRAY，MAP，STRUCT的访问方式
hive中map数据类型的数据的常用函数

hive (default)> select friends[1],children['xiao song'],address.city from test
where name="songsong";
OK
_c0     _c1     city
lili    18      beijing
 select name , fs[1] , map_keys(ch) , address.street , address.city  from demo1 ;
+-----------+-------+--------------------------------+----------------+----------+--+
|   name    |  _c1  |              _c2               |     street     |   city   |
+-----------+-------+--------------------------------+----------------+----------+--+
| songsong  | lili  | ["xiao song","xiaoxiao song"]  | hui long guan  | beijing  |
| yangyang  | susu  | ["xiao yang","xiaoxiao yang"]  | chao yang      | beijing  |
+-----------+-------+--------------------------------+----------------+----------+--+

3.3类型转化

       Hive的原子数据类型是可以进行隐式转换的，类似于Java的类型转换，例如某表达式使用INT类型，TINYINT会自动转换为INT类型，但是Hive不会进行反向转化，例如，某表达式使用TINYINT类型，INT不会自动转换为TINYINT类型，它会返回错误，除非使用CAST操作。

  1. 隐式类型转换规则如下：
    （1）任何整数类型都可以隐式地转换为一个范围更广的类型，如TINYINT可以转换成INT，INT可以转换成BIGINT。
    （2）所有整数类型、FLOAT和STRING类型都可以隐式地转换成DOUBLE。
    （3）TINYINT、SMALLINT、INT都可以转换为FLOAT。
    （4）BOOLEAN类型不可以转换为任何其它的类型。
  2. 可以使用CAST操作显示进行数据类型转换
    例如CAST(‘1’ AS INT)将把字符串’1’ 转换成整数1；如果强制类型转换失败，如执行CAST(‘X’ AS INT)，表达式返回空值 NULL。

3.4集合数据类型创建和查询

3.4.1 map类型创建和查询

操作步骤

## 建表语句
create table hive_map(id int , name string , data_map map<string,string>)
row format delimited fields terminated by ' '
collection items terminated by ','
map keys terminated by ':';

## 原始数据
1 zs father:zsfa,moter:zsmo,brother:zsbr
2 ls father:lsfa,moter:lsmo,brother:lsbr-lsbr2

## 加载数据
load data local inpath '/root/data/hive-map.txt' overwrite into table hive_map;

## 数据查询
-- map_keys
select id,name,map_keys(data_map) from hive_map;

-- map_values：返回key和value的数组
select id,name,map_values(data_map) from hive_map;

-- 字段[key]
select id,name,data_map['brother'] from hive_map;

结果展示

hive> show tables;
OK
Time taken: 0.036 seconds
hive> create table hive_map(id int , name string , data_map map<string,string>)
    > row format delimited fields terminated by ' '
    > collection items terminated by ','
    > map keys terminated by ':';
OK
Time taken: 0.059 seconds
hive> load data local inpath '/root/data/hive-map.txt' overwrite into table hive_map;
Loading data to table default.hive_map
OK
Time taken: 0.625 seconds
hive> select id,name,map_keys(data_map) from hive_map;
OK
1	zs	["father","moter","brother"]
2	ls	["father","moter","brother"]
Time taken: 0.159 seconds, Fetched: 2 row(s)
hive> select id,name,map_values(data_map) from hive_map;
OK
1	zs	["zsfa","zsmo","zsbr"]
2	ls	["lsfa","lsmo","lsbr-lsbr2"]
Time taken: 0.163 seconds, Fetched: 2 row(s)
hive> select id,name,data_map['brother'] from hive_map;
OK
1	zs	zsbr
2	ls	lsbr-lsbr2
Time taken: 0.18 seconds, Fetched: 2 row(s)
hive>
3.4.2 array类型创建和查询
## 建表语句
create table hive_array(name string , data_array array<string>)
row format delimited fields terminated by ' '
collection items terminated by ',';

## 原始数据
1 xiaohui,taoge,xingge,lianhang,guanyu
2 najie,xiaoqiao
3 余辉,涛哥,星哥,念行,冠宇
4 娜姐,小乔

## 加载数据
load data local inpath '/root/data/hive-array.txt' overwrite into table hive_array;

## 数据查询
select name , data_array from hive_array;
-- size 数组长度
select name , data_array ,size(data_array) from hive_array;
--  字段[角标]
select name , data_array[0] ,size(data_array) from hive_array;
-- array_contains 函数：判断数组是否包含指定元素
select name , array_contains(data_array,"xiaohui") ,size(data_array) from hive_array;

结果展示

hive> create table hive_array(name string , data_array array<string>)
    > row format delimited fields terminated by ' '
    > collection items terminated by ',';
OK
Time taken: 0.052 seconds
hive> load data local inpath '/root/data/hive-array.txt' overwrite into table hive_array;
Loading data to table default.hive_array
OK
Time taken: 0.581 seconds
hive> select name , data_array from hive_array;
OK
1	["xiaohui","taoge","xingge","lianhang","guanyu"]
2	["najie","xiaoqiao"]
3	["余辉","涛哥","星哥","念行","冠宇"]
4	["娜姐","小乔"]
Time taken: 0.175 seconds, Fetched: 4 row(s)
hive> select name , data_array ,size(data_array) from hive_array;
OK
1	["xiaohui","taoge","xingge","lianhang","guanyu"]	5
2	["najie","xiaoqiao"]	2
3	["余辉","涛哥","星哥","念行","冠宇"]	5
4	["娜姐","小乔"]	2
Time taken: 0.119 seconds, Fetched: 4 row(s)
hive> select name , data_array[0] ,size(data_array) from hive_array;
OK
1	xiaohui	5
2	najie	2
3	余辉	5
4	娜姐	2
Time taken: 0.169 seconds, Fetched: 4 row(s)
hive> select name , array_contains(data_array,"xiaohui") ,size(data_array) from hive_array;
OK
1	true	5
2	false	2
3	false	5
4	false	2
Time taken: 0.16 seconds, Fetched: 4 row(s)
hive>
3.4.3 struct类型创建和查询
## 建表语句
create table hive_struct(id int , userinfo struct<name:string,age:int,sex:string,major:string>)
row format delimited fields terminated by ' '
collection items terminated by ':';

## 原始数据
1 xiaohui:18:M:teacher
2 lisi:30:W:student

## 加载数据
load data local inpath '/root/data/hive-struct.txt' overwrite into table hive_struct;

## 数据查询
select id, userinfo.name,userinfo.age,userinfo.sex,userinfo.major from hive_struct;

结果展示

hive> create table hive_struct(id int , userinfo struct<name:string,age:int,sex:string,major:string>)
    > row format delimited fields terminated by ' '
    > collection items terminated by ':';
OK
Time taken: 0.064 seconds
hive> load data local inpath '/root/data/hive-struct.txt' overwrite into table hive_struct;
Loading data to table default.hive_struct
OK
Time taken: 0.583 seconds
hive> select id, userinfo.name,userinfo.age,userinfo.sex,userinfo.major from hive_struct;
OK
1	xiaohui	18	M	teacher
2	lisi	30	W	student
Time taken: 0.172 seconds, Fetched: 2 row(s)
hive> select id,userinfo from hive_struct;
OK
1	{"name":"xiaohui","age":18,"sex":"M","major":"teacher"}
2	{"name":"lisi","age":30,"sex":"W","major":"student"}
Time taken: 0.144 seconds, Fetched: 2 row(s)
3.4.4 explode在map和array使用

       explode就是将hive一行中复杂的array或者map结构拆分成多行。

0: jdbc:hive2://hadoop11:10000> select explode(data_map) from hive_map;
+----------+-------------+
|   key    |    value    |
+----------+-------------+
| father   | zsfa        |
| moter    | zsmo        |
| brother  | zsbr        |
| father   | lsfa        |
| moter    | lsmo        |
| brother  | lsbr-lsbr2  |
+----------+-------------+


0: jdbc:hive2://hadoop11:10000> select explode(data_array) from hive_array;
+-----------+
|    col    |
+-----------+
| xiaohui   |
| taoge     |
| xingge    |
| lianhang  |
| guanyu    |
| najie     |
| xiaoqiao  |
| 余辉        |
| 涛哥        |
| 星哥        |
| 念行        |
| 冠宇        |
| 娜姐        |
| 小乔        |
+-----------+


0: jdbc:hive2://hadoop11:10000> select 
. . . . . . . . . . . . . . . > row_number() over() as num , a.col as name 
. . . . . . . . . . . . . . . > from (
. . . . . . . . . . . . . . . > select explode(data_array) from hive_array
. . . . . . . . . . . . . . . > ) a;
+------+-----------+
| num  |   name    |
+------+-----------+
| 1    | 小乔        |
| 2    | 娜姐        |
| 3    | 冠宇        |
| 4    | 念行        |
| 5    | 星哥        |
| 6    | 涛哥        |
| 7    | 余辉        |
| 8    | xiaoqiao  |
| 9    | najie     |
| 10   | guanyu    |
| 11   | lianhang  |
| 12   | xingge    |
| 13   | taoge     |
| 14   | xiaohui   |
+------+-----------+
3.4.5 Lateral View在map和array使用

       横向视图与用户定义的表生成函数（如 explode（））结合使用。 如内置表生成函数中所述，UDTF 为每个输入行生成零个或多个输出行。 横向视图首先将 UDTF 应用于基表的每一行，然后将结果输出行连接到输入行，以形成具有所提供的表别名的虚拟表。
       在 Hive 0.6.0 之前，横向视图不支持谓词下推优化。 在 Hive 0.5.0 及更早版本中，如果您使用 WHERE 子句，则查询可能尚未编译。 解决方法是添加 set hive.optimize.ppd = false; 在你的查询之前。 修复是在 Hive 0.6.0 中完成的; 请参阅 https://issues.apache.org/jira/browse/HIVE-1056：谓词下推不适用于 UDTF。
       从 Hive 0.12.0 开始，可以省略列别名。 在这种情况下，别名是从 UTDF 返回的 StructObjectInspector 的字段名继承的。

# Lateral View在map使用
0: jdbc:hive2://hadoop11:10000> with test as (
. . . . . . . . . . . . . . . > select data_map from hive_map
. . . . . . . . . . . . . . . > )
. . . . . . . . . . . . . . . > 
. . . . . . . . . . . . . . . > select 
. . . . . . . . . . . . . . . > row_number() over() as num ,t1.key ,t1.value
. . . . . . . . . . . . . . . > from test  LATERAL VIEW explode(data_map) t1 ;
+------+----------+-------------+
| num  |  t1.key  |  t1.value   |
+------+----------+-------------+
| 1    | brother  | lsbr-lsbr2  |
| 2    | moter    | lsmo        |
| 3    | father   | lsfa        |
| 4    | brother  | zsbr        |
| 5    | moter    | zsmo        |
| 6    | father   | zsfa        |
+------+----------+-------------+



# Lateral View在array使用
0: jdbc:hive2://hadoop11:10000> with test as (
. . . . . . . . . . . . . . . > select data_array as b from hive_array
. . . . . . . . . . . . . . . > )
. . . . . . . . . . . . . . . > 
. . . . . . . . . . . . . . . > select 
. . . . . . . . . . . . . . . > row_number() over() as num ,name
. . . . . . . . . . . . . . . > from test  LATERAL VIEW explode(b) t1 AS name;

+------+-----------+
| num  |   name    |
+------+-----------+
| 1    | 小乔        |
| 2    | 娜姐        |
| 3    | 冠宇        |
| 4    | 念行        |
| 5    | 星哥        |
| 6    | 涛哥        |
| 7    | 余辉        |
| 8    | xiaoqiao  |
| 9    | najie     |
| 10   | guanyu    |
| 11   | lianhang  |
| 12   | xingge    |
| 13   | taoge     |
| 14   | xiaohui   |
+------+-----------+
北京小辉微信公众号

在这里插入图片描述

大数据资料分享请关注
已标记关键词 清除标记
hive数据类型及其数据转换
weixin_30730151的博客
04-08 984
由于需要使用hive sql进行数据查询，同时涉及多个不同类型的字段的组合，看Hive sql的文档相关和资料才知道，hive是支持大部分基础数据类型之间的相互转换的。 那么，hive本身支持哪些数据类型呢？ 从hive内置数据类型中，Hive支持的数据类型包括以下这些： 数据类型 所占字节 开始支持版本 TINYINT ...
表情包
插入表情
还能输入1000个字符 “速评一下”
Hive学习之Hive数据类型
skyWalker_ONLY
05-29 5万+
Hive到0.13.0版本为止已经支持越来越多的数据类型，像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型，下面分别予以介绍。 数值类型 Hive中的数值类型与Java中的数值类型很相似，区别在于有些类型的名称不一样，可以概括为如下的表格： 类型名称
hive---基本类型中，varchar（20）与char（20）的区别
liu123641191的博客
06-27 6938
Hive中varchar与char都是用来存储字符串。两者区别是：varchar属于可变长的字符类型。char属于固定长度的字符类型。假定声明了varchar（20）与char（20）两种数据类型，当存入的字符占用小于20时，声明为varchar的字符只占用足够表示它的那些字符空间；而char则仍然占满20个字节空间，用空格填充。...
hive 学习系列一（数据类型的定义）
weixin_30898109的博客
07-24 54
数字类型（Numeric Types） 整型 TINYINT(取值范围：-128 -- 127) SMALLINT(取值范围：-32,768 to 32,767) INT/INTEGER(取值范围： -2,147,483,648 to 2,147,483,647) BIGINT(取值范围： -9,223,372,036,854,775,808 to 9,223,372,036,854,775,80...
国民度No.1，Python到底做了什么？
CSDN学院
01-20 1万+
毫无疑问，Python 是当下最火的编程语言之一。可以说 Python 的崛起，将编程提高了一个层次，它不再只是程序员专用，各个岗位都在学习 Python，导致普及度和国民度瞬间上升，Python 对整个行业来说都是极其有利的。 正如 TIOBE 官方评价：Python 无处不在，其实自 2018 年开始，各行各业便开始布局 Python。 在教育界， 1、自 2018 年 3 月起，在计算机二级考试加入了“Python 语言程序设计”科目； 2、2018 年，浙江省信息技术教材宣布弃用 VB 语言
Hive数据仓库-Sqoop将数据从Mysql导入Hive中
王洋的专栏
10-26 1万+
Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。参数hive导入参数 　　--hive-home 重写$
elasticsearch数据到hive、es-hadoop6.3.0
王某的博客
08-06 5547
同一模块中日志输出到不同文件 elasticsearch数据到hive 思路1 思路2 安装ES-hadoop 添加jar包到hive es数据导入到hive的最基础设置 es数据导入到hive进阶之mapping设置 es数据导入到hive进阶之array 相关文章 参考 同一模块中日志输出到不同文件 需求：项目的同一个子模块下，已经配置过日志输出，现在...
Hive数据类型---以集合类型为主
张鑫的博客
08-11 1125
1、hive的常见的数据结构   Hive数据结构 Java数据结构 int int bigint long string string hive的数据类型基本没变，除了long变成bigint之外，其他的都没有变 2、集合类型 数据类型 描述 语法示例 STRU...
Hive数据类型---复合类型--array数组类型
weixin_39926871的博客
04-23 2522
假设文件中的一行数据为： 反贪风暴4,刘青云:张家辉:张老哥,2019-04-03 此时建表语句应该为： create table t_movie（movie_name string,actors array<string>,show date） row format delimited fields terminate by ',' collection items ter...
Hive数据类型---复合类型--map类型
weixin_39926871的博客
04-23 965
假设有如下数据： 1,zhang,father:zhanglaoge#monther:xiaolaomei#brother:superman,22 则建表语句应该如下： create table t_person(id int,name string,family_members map<string,string>,age int) row format delimited f...
Hive_Hive 中数据类型介绍
迎难而上
06-22 6819
参考的文章：Hive 数据类型https://edu.csdn.net/promotion_activity?id=3&amp;utm_source=618qzttHive 学习之Hive 数据类型https://blog.csdn.net/skywalker_only/article/details/27547515Hive 中数据类型主要分为以下几种类型数值类型字符串类型日期/时间类型其他类型...
Hive数据类型
Spring , Hadoop, Spark , BI , ML
07-30 3万+
1. Hive数据类型Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括数组，map，struct。下面是Hive数据类型的一个总结： 分类 类型 描述 字面量示例 原始类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号整数 -128~127 1Y SMALL
HIVE string与varchar调研文档
weixin_34273481的博客
02-27 926
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive 数据类型
qq_38029158的博客
05-13 70
基本数据类型 Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换 1． 隐式类型转换规则如下 （1）任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换 成 INT， INT 可以转换成 BIGINT。 （2）所有整数类型、 FLOAT 和 STRING 类型都可以隐式地转换成 DOUBLE。 （3） TINYINT、 SMALLINT、 INT 都可以转换为 FLOAT。 （4） BOOLEAN 类型不可以转换为任何其它的类型。 2． 可以使用 CA..
hive-drop-import-delims选项对oracle的clob无效
weixin_30756499的博客
07-11 523
工作过程中发现了用sqoop将oracle中的数据导入到hive时，会因为oracle中类型为clob的字段中存在换行时，会造成hive的数据错位。即使加上了 --hive-drop-import-delims 也无效。 通过查询，发现有两种解决方案， 一种是将oracle中类型为clob的字段通过cast(column_name as varchar2(4000)) 将类型进行显式...
Hive JDBC——深入浅出学Hive
快乐程序员的专栏
08-02 1487
第一部分：搭建Hive JDBC开发环境 搭建：Steps •新建工程hiveTest •导入Hive依赖的包 •Hive  命令行启动Thrift服务 •hive --service hiveserver &          第二部分：基本操作对象的介绍 Connection •说明：与Hive连接的Connection
Hive数据类型---复合类型--struct结构类型
weixin_39926871的博客
04-23 831
假设有如下数据： 1,zhang,18:male:深圳 则建表语句应该如下： create table t_user(id int,name string,info struct<age:int,sex:string:addr:string>) row format delimited fields terminated by ',' collection items term...
Hive数据仓库--HiveQL查询
王洋的专栏
09-29 1万+
之前的博文中已经介绍过了，Hive的原理、Hive的数据定义、Hive的数据插入的相关知识，接下来学习下Hive的数据查询，总体来说感觉查询部分和Mysql相差并不是很大，当然并不是说没有差别的，个别的地方我会点出来。 这里是之前的文章中操作的表的信息，并且，我们简单的查询下，你可以看到他的部分数据。 hive> show tables; OK salaries salaries_ex
(7-7)hive复合数据类型
鲍礼彬的CSDN博客 ~_~
04-29 967
hive基本数据类型： hive复合数据类型： --------------------------------------------------------------- struct 类型--------------------------------------------------------------------- //
Hive---hive的复杂数据类型（Array,Map,Struct）
用思想丈量世界
06-29 2658
本文主要介绍hive中一些较为复杂的数据类型，例如array,map，struct等类型
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值