0. Hive使用中遇到的问题
Hive是常用的数据仓库工具，功能强大，操作简便。在使用Hive的过程中，经常碰见以下两个问题：
（1）手动向Hive分区表的某些个分区HDFS路径上put数据文件，但是show partitions时显示不出这些手动导入的分区。
（2）select count(*) from 一个表时，显示的条数和实际HDFS文件中的条数不一致。
解决这两个问题，就需要用到下面的两个命令。
1. msck repair table
msck repair table的主要作用是修复使用hadoop fs或hadoop api命令手动向分区表HDFS路径导入数据但在CLI中查询不到该分区的问题。使用格式为：msck repair table table_name; 实际上，msck == Hive's MetaStore Consistency checK
Hive的元数据（表名、分区名、分区字段、表属性等）是通过metastore服务存储在关系型数据库（默认derby，主流使用MySQL）中的。当通过Hive CLI用insert或alter table改变表的分区时，metastore服务会同步分区信息到关系型数据库中，相当于是登记在案了，根正苗红。这样我们在show partitions时，就能看到修改后的分区。但如果是通过hadoop fs命令自建分区路径并上传数据文件，这就相当于绕过了metastore服务，走的是占山为王的野路子。使用show partitions查看分区时就检测不到新增分区信息，官方不予承认。
那么如何让土匪受到官府招安呢？就是使用上述命令 msck repair table table_name;显式要求metastore去检查表存储路径上实际存在的分区，并把未添加的分区信息写入mysql中。同样，如果手动删除了hdfs上某些分区，执行msck后会去掉这些分区的信息。
注意，有时候在执行msck repair table table_name;时会返回失败：
FAILED: Execution Error,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask
这是因为在表存储路径中发现了不符合规范的分区名。例如表tbl_test是一张外部分区表，分区字段是日期dt，hdfs上的存储路径是/user/lannister/db/tbl_test。
执行hadoop fs -ls /user/lannister/db/tbl_test的结果如下
/user/lannister/db/tbl_test/dt=20200801
/user/lannister/db/tbl_test/dt=20200802
/user/lannister/db/tbl_test/dt=$%#JOJO(&)
显然表路径中存在不规范的分区名，hive并不认为这是合理的分区，所以msck修复失败。解决办法有两种
（1）删除不规范的分区 hadoop fs -rm -r /user/lannister/db/tbl_test/dt=$%#JOJO(&)
（2）设置 set hive.msck.path.validation=ignore; 然后执行msck。
2. analyze table
在数据仓库的升级或版本修改中，经常需要核对表的数据。核对数据的第一步就是比条数，select count(1)。有时候会发现往一个非分区表的路径上手动put一个textfile文件，但是count()出来的条数却不是文本里面的那么多。在这个时刻就需要使用analyze table来执行统计过程。
根据https://cwiki.apache.org/confluence/display/Hive/StatsDev中的介绍，analyze 统计命令的作用是
Statistics such as the number of rows of a table or partition and the histograms of a particular interesting column are important in many ways. One of the key use cases of statistics is query optimization. Statistics serve as the input to the cost functions of the optimizer so that it can compare different plans and choose among them. Statistics may sometimes meet the purpose of the users' queries. Users can quickly get the answers for some of their queries by only querying stored statistics rather than firing long-running execution plans. Some examples are getting the quantile of the users' age distribution, the top 10 apps that are used by people, and the number of distinct sessions.
简而言之，analyze命令会统计表的行数、表的数据文件数、表占用的字节大小、列信息、TOP K统计信息等，进而优化查询、加快速度。通用用法是：
ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS;
个人理解analyze会重新计算一遍行数，刷新记录行数的“缓存”，从而显示正确的行数。但是analyze命令的功能远不止解决上面条数不对的问题，该命令常规用途是
（1）查看表的大小、字段等统计信息；
（2）加快查询。
例如有以下非分区表tbl_seven_kingdoms_test_dim和日分区表
#非分区表
create external table tbl_seven_kingdoms_test_dim
( house_cd string,
house_name string)
row format delimited fields terminated by ',' lines terminated by '\n'
stored as textfile
location '*****';
#日分区表
create external table tbl_seven_kingdoms_test_day
(house_cd string,
army_num bigint,
book_name string)
partitioned by (dt string)
row format delimited fields terminated by ',' lines terminated by '\n'
stored as textfile
location '*****';
对于非分区表tbl_seven_kingdoms_test_dim，可以直接写
analyze table tbl_seven_kingdoms_test_dim compute statistics;
#查看统计信息
desc formatted tbl_seven_kingdoms_test_dim;
会显示很多统计信息，截取如下
| Table Parameters:
| | COLUMN_STATS_ACCURATE | {\"BASIC_STATS\":\"true\"} |
| | EXTERNAL | TRUE |
| | numFiles | 1 |
| | numRows | 5 |
| | rawDataSize | 79 |
| | totalSize | 84 |
| | transient_lastDdlTime | 1597651510 |
对于分区表tbl_seven_kingdoms_test_day，要查看dt=20200801分区的统计信息，可以执行
analyze table tbl_seven_kingdoms_test_day partition(dt='20200801') compute statistics;
#查看统计信息
desc formatted tbl_seven_kingdoms_test_day partition(dt='20200801');
即可显示该表或分区下的行数、文件数、文件大小、字段名、字段类型、存储路径等信息，这些信息在日常分析问题时可能会很有用。
hear me roar！
