Hive功能简介 Hive如何使用
Hive是一个构建于Hadoop顶层的数据仓库工具
依赖分布式文件系统HDFS存储数据,依赖分布式并行计算模型MapReduce处理数据,本身不存储和处理数据(区别:传统数据仓库支持数据存储和处理分析)
以下内容由 小红书(www.xiaohongshutuiguang.cn)转载提供
支持大规模数据存储、分析,具有良好的可扩展性
定义了简单的类似SQL 的查询语言——HiveQL/HQL
用户可以通过编写的HQL语句运行MapReduce任务
可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上
是一个可以提供有效、合理、直观组织和使用数据的分析工具
2.2 特性
采用批处理方式处理海量数据
Hive需要把HiveQL语句转换成MapReduce任务进行运行
数据仓库存储的是静态数据,对静态数据的分析适合采用批处理方式,不需要快速响应给出结果,而且数据本身也不会频繁变化
提供适合数据仓库操作的工具
Hive本身提供了一系列对数据进行提取、转换、加载(ETL)的工具,可以存储、查询和分析存储在Hadoop中的大规模数据
这些工具能够很好地满足数据仓库各种应用场景
2.3 生态系统
Hive依赖于HDFS 存储数据、
Hive依赖于MapReduce 处理数据
在某些场景下Pig可以作为Hive的替代工具
HBase 提供数据的实时访问
Pig主要用于数据仓库的ETL环节
Hive主要用于数据仓库海量数据的批处理分析