start_time: 2025-07-17 10:15:30 +0800

Java调用Hive-metastore接口

96
twalk
IP属地: 北京
2019.02.23 13:06 字数 537

需求:对hive的元数据进行查询,之前师姐的实现方法是通过对MySql的hive元数据数据库操作,进而实现查询。但是该方法太过于麻烦和复杂,在网上查询之后发现,hive提供Hive-metastore service,能比较完美的解决这一需求。

1. 为什么有Hive-metastore service

​ 许多第三方框架需要使用hive 的元数据如spark,所有hive需要开发Hive-metastore service的服务接口。

同理Hive-metastore service提供了JAVA的jar,给java程序调用

2. JAVA怎么用Hive-metastore

​ 去maven仓库搜索hive metastore,能找到对应的jar包。之间在maven项目中引入hive metastore的依赖。

如下面所示:

  1. 依赖
<!--hive-metastore-->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-metastore</artifactId>
    <version>2.3.4</version>
</dependency>
  1. java连接Hive-metastore service代码
//HiveMetaStore的客户端
private HiveMetaStoreClient hiveMetaStoreClient;

/**
 * 功能描述:
 *          设置HiveJDBC的数据源
 */
private void setHiveMetaStoreConf(DbInform dbInform) {
    HiveConf hiveConf = new HiveConf();
    hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());
    try {
        //设置hiveMetaStore服务的地址
        this.hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);
        //当前版本2.3.4与集群3.0版本不兼容,加入此设置
      this.hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
    } catch (MetaException e) {
        e.printStackTrace();
    } catch (TException e) {
        e.printStackTrace();
    }
}

注意

  1. hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());

    1. 其中hiveConf的配置对象也可以通过配置文件读取配置。

      例如,hive-site.xml中的配置如下

      <configuration>
          <property>
              <name>hive.metastore.uris</name>     
              <value>thrift://110.131.23.14:9083</value>
          </property>
      </configuration>
      

      hiveConf中引入:

      hiveConf.addResource("hive-site.xml")

    2. “hive.metastore.uris”属性是设置Hive-metastore service的地址,地址格式如:thrift://110.131.23.14:9083(默认端口9083,必须是hive集群中Hive-metastore service所在的ip)。

  2. hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");

    由于我的集群上的hive是3.0版本,但是hive-jdbc的3.0jar包会与spring boot2.0出现包冲突,导致spring boot无法启动。所以无奈之下,hive-jdbc使用了2.3.4版本,因此HiveMetaStore的jar版本也必须使用2.x.x的版本,不然会出现找不到包的错误。而使用2.x.x的版本与集群3.0版本连接会提示客户端版本太低的错误,控制台提示配置hive.metastore.client.capability.check为fasle。特别提示:该配置写在配置文件中似乎没有作用。

3. Hive-metastore的java接口

// 由数据库的名称获取数据库的对象(一些基本信息)
Database database= this.hiveMetaStoreClient.getDatabase(dbName);
// 根据数据库名称获取所有的表名
List<String> tablesList = this.hiveMetaStoreClient.getAllTables(dbName);
// 由表名和数据库名称获取table对象(能获取列、表信息)
Table table= this.hiveMetaStoreClient.getTable(dbName,tableName);
// 获取所有的列对象
List<FieldSchema> fieldSchemaList= table.getSd().getCols();
// 关闭当前连接
this.hiveMetaStoreClient.close();

注意:使用完之后关闭连接this.hiveMetaStoreClient.close();

最后编辑于 :2019-02-23 13:06:08
©著作权归作者所有,转载或内容合作请联系作者
序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
783c64db 45e5 48d7 82e4 95736f50533e 沈念sama 阅读 231168 评论 6 赞 546
序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
783c64db 45e5 48d7 82e4 95736f50533e 沈念sama 阅读 99936 评论 3 赞 429
文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
8 开封第一讲书人 阅读 180502 评论 0 赞 384
文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
8 开封第一讲书人 阅读 64137 评论 1 赞 319
正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
388e473c fe2f 40e0 9301 e357ae8f1b41 茶点故事 阅读 72901 评论 6 赞 415
文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
8 开封第一讲书人 阅读 56214 评论 1 赞 330
那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
783c64db 45e5 48d7 82e4 95736f50533e 沈念sama 阅读 44160 评论 3 赞 449
文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
8 开封第一讲书人 阅读 43378 评论 0 赞 292
序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
783c64db 45e5 48d7 82e4 95736f50533e 沈念sama 阅读 49948 评论 1 赞 338
正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
388e473c fe2f 40e0 9301 e357ae8f1b41 茶点故事 阅读 41642 评论 3 赞 362
正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
388e473c fe2f 40e0 9301 e357ae8f1b41 茶点故事 阅读 43876 评论 1 赞 377
序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
783c64db 45e5 48d7 82e4 95736f50533e 沈念sama 阅读 39270 评论 5 赞 364
正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
388e473c fe2f 40e0 9301 e357ae8f1b41 茶点故事 阅读 45028 评论 3 赞 351
文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
8 开封第一讲书人 阅读 35468 评论 0 赞 29
文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
8 开封第一讲书人 阅读 36765 评论 1 赞 297
我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
783c64db 45e5 48d7 82e4 95736f50533e 沈念sama 阅读 52594 评论 3 赞 400
正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
388e473c fe2f 40e0 9301 e357ae8f1b41 茶点故事 阅读 48882 评论 2 赞 384
end_time: 2025-07-17 10:15:31 +0800 Completed in 149.467951ms