hive_常用语句

#关于hive中数据库
创建库:
create database if not exists demo comment'库描述信息';

删除空库:
drop database if exists demo;

查看库描述:本质上就是打印出 hive元数据库中的DBS表中存储的demo库的全部信息
desc database demo;

注: 关于hive库的元数据信息放在 DBS 表中
#创建表
create  [external]  table  [if not exists]  tableName(  
gname string comment'字段描述',  
password string comment'',  
gid int comment'',  
unames string comment'' 
) comment '表描述'  
partitioned by (dt string comment'分区字段描述')  
row format delimited 
fields terminated by '\001'   
lines terminated by '\n'  
stored  as  textfile  
location  '/inputdata' ; 

注意点:
1. 创建表的本质:在hdfs中对应的库下面创建目录,在元数据表中添加对应的信息。
2. 关键字 location 用来指定表的存放位置;
建立内部分区表指定 location 位置,该位置下有文件夹,文件下有数据,数据不会自动加载到patition中,要手动添加partition 并指定 partition的location位置;
3. external 字段创建的是外部表;
4. 关于内部表与外部表:
两者的区别体现在删除数据时: 在删除内部表的时候,Hive将会把属于表的元数据和数据全部删掉;而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的!
适用场景:
内部表:多用于临时表、中间表
外部表:用于源数据
5. 为什么创建分区表?
单表数据量随着时间越来越大,hive为咯避免全表扫描,引入分区(将单张表的数据根据条件细分到不同的目录)。
6. hive分区表的细节??
hive分区的字段是一个伪字段,它不会再表中真实存在,可以用来过滤查询等。
一个表可以有多个分区,而每一个分区都是以目录的形式存在。
7. hive中的一些概念在hdfs上的体现
hive数据库的目录名是 .db 结尾;
hive内部表的目录是存放在其数据库的目录下, hive表的目录名没有任何后缀;
hive分区字段的目录名是  分区字段名=分区值 的形式结尾;

查看表:
desc  tablename;
show  create  table  tablename;
#数据的导入
load方式:
load data [local] inpath '/path' [overwrite] into table tableName  partition(type='');

注:
1. Load 操作只是单纯的复制/移动操作,将数据文件移动到 Hive 表对应的位置
2. 指定了 local 会从本地文件系统中加载数据, 如果没有指定 local, 会从hdfs上加载数据
3. 指定了 overwrite 关键字,首先将目标表下的数据删除后,然后将新数据添加到表中
4. 在加载数据时, hive与mysql的区别
hive是读时模式,也就是说在加载数据时,hive不会检查加载的数据是否符合规范;
关系型数据库(mysql)是严格写时模式,如果写入的数据有误,会报错;


insert方式:
insert  into  table  tablename   [partition(type='')]  select  *  from  xxx ;
insert  overwrite  table  tablename   [partition(type='')]  select  *  from  xxx ;


as方式      既能创建表,还同时具备导数据功能:
create table if not exists  要创建的表名称 
as
select 字段a,字段b  from  已经存在的表   where  xxx  ;
#导出数据:
1、从hive表导出到本地目录
2、从hive表导出到hdfs目录
3、 > 重定向到文件中

1、
insert overwrite local directory '/home/hivedata/exp2'
row format delimited fields terminated by '\t' 
select * from aa7; 

2、
insert overwrite directory '/hivedata/exp2' 
row format delimited fields terminated by ',' 
select * from aa7; 

3、
hive -e "use 数据库名;select * from 表名"  >  /home/hivedata/exp3; 
#修改表

动态添加分区:
可以在select语句里面通过使用分区值来动态指明分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert into table 表名  partition (age) select id, name, tel, age  from 表名;

修改分区中的数据路径:
ALTER TABLE 表名  PARTITION (date='2016') SET LOCATION "数据路径" ;

修改分区名称:
ALTER TABLE 表名  PARTITION (date='原来的分区字段名称') RENAME TO PARTITION ( date='要修改后的字段名称') ;  

添加列:
ALTER  TABLE   表名  ADD COLUMNS ( 添加字段的名称   数据类型  );  
//在所有存在的列后面,但是在分区列之前添加一列
例如给hive表temptable 添加字段 a,b  
alter  table  temptable  add  columns ( a string, b string );  

表的重命名:
alter table  旧表名  rename  to  新表名;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容