hive学习笔记

1.1 什么是Hive

 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

1.2 为什么使用Hive

1.) 直接使用hadoop所面临的问题

人员学习成本太高

项目周期要求太短

MapReduce实现复杂查询逻辑开发难度太大

2.)

操作接口采用类SQL语法,提供快速开发的能力。

避免了去写MapReduce,减少开发人员的学习成本。

扩展功能很方便。

1.3 Hive的特点

1.)可扩展

Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。

2.)延展性

Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。

3.)容错

良好的容错性,节点出现问题SQL仍可完成执行。

1.4 Hive与传统数据库对比

2 框架图:

     用户接口: Shell/CLI,CLI(Command Line Interface),Shell 终端命令行,采用交互形式使用 Hive 命令行与 Hive 进行交互。Cli 启动的时候,会同时启动一个 Hive 副本。JDBC/ODBC客户端是Hive的JAVA实现,与传统数据库JDBC类似。Web UI通过浏览器访问hive。主要用来将我们的sql语句提交给hive。

     Thrift服务器:Thrift 是 Facebook 开发的一个软件框架,可以用来进行可扩展且跨语言的服务的开发, Hive 集成了该服务,能让不同的编程语言调用 Hive 的接口。

     元数据库: 存储在 Hive 中的数据的描述信息。Hive 将元数据存储在数据库中,如 mysql、(默认)derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表 等),表的数据所在目录等。

     解释器包含编译器、优化器、执行器:完成HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。。编译器:主要将sql语句编译成一个MR的任务。优化器:主要是对我们的sql语句进行优化。执行器:提交mr任务,进行执行。

     Hive 的数据存储在 HDFS 中,查询计划被转化为 MapReduce 任务,在 Hadoop 中执行.

3.Hive的数据存储

     Hive的所有数据都存储在Hdfs中,没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,用户定义数据格式需要指定三个属性:列分隔符(通常为空格、”\t”、”\x001″)、行分隔符(”\n”)以及读取文件数据的方法(Hive 中默认有三个文件格式 TextFile,SequenceFile 以及 RCFile)。

Hive 中包含以下数据模型:DB、Table,External Table,Partition,Bucket:

1、db:在hdfs中表现为{hive.metastore.warehouse.dir}目录下一个文件夹.${hive.metastore.warehouse.dir}是在配置文件中定义的数据仓库位置

2、table:在hdfs中表现所属db目录下一个文件夹

3、external table:与table类似,不过其数据存放位置可以在任意指定路径

4、partition:在hdfs中表现为table目录下的子目录

5、bucket:在hdfs中表现为同一个表目录下根据hash散列之后的多个文件

4.Hive的基本操作

4.1 操作数据库:

           创建数据库: create database if not exists 数据库名;

   创建数据库并指定hdfs存储位置: create database 数据库名 location ‘位置’;

   查看有哪些数据库: show databases;

   修改数据库的信息(数据库的元数据信息是不可更改的,包括数据库的名称以及数据库所在的位置):alter database 数据库名 set dbproperties()

   查看数据库的信息:desc database 数据库名;

   查询详细数据库信息:desc database extended 数据库名;

   删除数据库(删除一个空数据库,如果数据库下面有数据表,那么就会报错):drop database 数据库名;

   强制删除数据库(包含数据库下面的表一起删除):drop database myhive cascade;

4.2 操作数据库表:

  4.2.1创建数据库表语法:

                  CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

                  [(col_name data_type [COMMENT col_comment], …)]

                  [COMMENT table_comment]

                  [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]

                  [CLUSTERED BY (col_name, col_name, …)

                  [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]

                  [ROW FORMAT row_format]

                  [STORED AS file_format]

                  [LOCATION hdfs_path]

说明:

1、 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。

2、 EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。

3、 LIKE 允许用户复制现有的表结构,但是不复制数据。

4、 ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]

用户在建表的时候可以自定义 字段的分隔符 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。

5、 STORED AS SEQUENCEFILE|TEXTFILE|RCFILE

如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。

6、PARTITIONED BY

分区指的是在创建表时指定的partition的分区空间。一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。partition就是辅助查询,缩小查询范围,加快数据的检索速度和对数据按照一定的规格和条件进行管理。

7、CLUSTERED BY

对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

把表(或者分区)组织成桶(Bucket)有两个理由:

(1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。

(2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

推荐阅读更多精彩内容

  • 官方参考文档 LanguageManual DDL 创建/删除/更改/使用数据库 在hive sql中databa...
    井地儿阅读 253评论 0 1
  • hive简介 解释一:Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,...
    卡卡xx阅读 2,584评论 0 3
  • 一、HIVE简介 Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管...
    老实李阅读 112评论 0 1
  • Hive的表在逻辑上由存储的数据和描述表中数据形式的相关元数据组成。数据通常存储在HDFS中,元数据通常保存在关系...
    井地儿阅读 124评论 0 1
  • Hive是一个数据仓库基础工具,在Hadoop中用来处理结构化的数据。它架构在Hadoop之上,hive底层数据存...
    井地儿阅读 149评论 0 1