【Hive】再看看如何将宽表转换成长表

前言

长宽格式数据之间相互转换使用到的函数,可以叫做表格生成函数。前面已经介绍了在 Hive 中如何将长格式数据转换成宽格式数据,现介绍一下在 Hive 中如何将宽格式数据转换成长格式数据。

【Hive】实现长格式数据转换成宽格式数据

需求描述

某电商数据库中存在表 user_info,以宽格式数据记录着客户属性数据和消费数据,需要将左边 user_info 宽格式数据转化成右边长格式数据。

image.png

需求实现

做以下说明

image.png

同样,其他数据库环境可以同等替换上面的函数。

需求实现思路

步骤一:将宽格式客户信息转化成 map 格式的数据

u001  {"age":"25","education":"master","first_buytime":"2018/1/3","name":"Sulie","regtime":"2018/1/2","sex":"male"} 
u002  {"age":"30","education":"Bachelor","first_buytime":"2018/5/5","name":"LuBan","regtime":"2018/3/4","sex":"male"}   
u003  {"age":"27","education":"PhD","first_buytime":"2018/5/4","name":"ZhenJi","regtime":"2018/4/3","sex":"female"}

步骤二:使用 explode 函数将 map 格式数据中的元素拆分成多行显示

user_no feature_name feature_value
u001 name Sulie
u001 sex male
u001 age 25
u001 education master
u001 regtime 2018/1/2
u001 first_buytime 2018/1/3
u002 name LuBan
u002 sex male
u002 age 30
u002 education Bachelor
u002 regtime 2018/3/4
u002 first_buytime 2018/5/5
u003 name ZhenJi
u003 sex female
u003 age 27
u003 education PhD
u003 regtime 2018/4/3
u003 first_buytime 2018/5/4

需求实现代码

步骤一实现

select 
    user_no
    ,map('name',name, 'sex',sex, 'age',age, 'education',education, 'regtime',regtime, 'first_buytime',first_buytime) feature_map    
from user_info

使用 map 函数将客户信息转换成 map 格式的数据。

步骤二实现

select 
    user_no
    ,explode(feature_map)   
    from(
        select 
            user_no
            ,map('name',name, 'sex',sex, 'age',age, 'education',education, 'regtime',regtime, 'first_buytime',first_buytime) feature_map    
        from user_info
) a

使用 explode 函数将 map 格式数据中的元素拆分成多行显示。

总结

前后两部分介绍了长宽格式数据之间如何相互转换。会发现不管是将长格式数据转换成宽格式数据还是将宽格式数据转换成长格式数据,都是先将数据转换成 map 格式数据。长格式数据转换成宽格式数据:先将长格式数据转换成 map 格式数据,然后使用列名['key']得到每一个 key 的 value;宽格式数据转换成长格式数据:先将宽格式数据转换成 map 格式数据,然后使用 explode 函数将 map 格式数据中的元素拆分成多行显示。顺便说一句,R 语言中也是通过类似的方法实现长宽格式之间相互转换的。

image.png

推荐阅读更多精彩内容