使用DBeaver访问Kerberos环境下的Hive

应用背景

有时想看看大数据平台上Hive表的结构和数据字典,或者对数据进行简单查询、核验,可以装一个SQL开发工具访问CDH集群中的Hive。

测试环境:

  • CDH版本为5.13.1
  • 客户端OS为Windows 10或Windows 7

配置Kerberos客户端环境

在客户端OS Windows 10或Windows 7上安装Kerberos客户端,在Kerberos官网下载,地址如下,

https://web.mit.edu/kerberos/dist/index.html

一路点击Next完成安装。

配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件,将KDC Server服务器上/etc/krb5.conf文件中的部分内容,拷贝到krb5.ini中,如果直接将krb5.conf文件更名为krb5.ini并替换krb5.ini,会出现文件格式问题导致MIT Kerberos客户端无法正常启动。

[libdefaults]
default_realm = MYCDH.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 604800
renew_lifetime = 25920000
forwardable = true
default_tgs_enctypes = des-cbc-crc des3-cbc-sha1
default_tkt_enctypes = des-cbc-crc des3-cbc-sha1
permitted_enctypes = des-cbc-crc des3-cbc-sha1
udp_preference_limit = 1
kdc_timeout = 3000
[realms]
MYCDH.COM = {
kdc = kerberos.mycdh.com
admin_server = kerberos.mycdh.com
}
[domain_realm]

配置环境变量,krb5.ini以及Kerberos Credential Cache File的路径,

  • 变量名:KRB5_CONFIG,变量值:C:\ProgramData\MIT\Kerberos5\krb5.ini。
  • 变量名:KRB5CCNAME,变量值:C:\temp\krb5cache。

KRB5CCNAME的路径默认是不存在的,因此需要在C盘下创建temp文件夹,krb5cache文件则不需要创建。

配置完环境变量后,重启计算机使其生效。

使用keytab文件登录Kerberos

在KDC Server上创建一个keytab文件,

sudo kadmin.local
kadmin.local:  addprinc padluo@MYCDH.COM
WARNING: no policy specified for padluo@MYCDH.COM; defaulting to no policy
Enter password for principal "padluo@MYCDH.COM": 
Re-enter password for principal "padluo@MYCDH.COM": 
Principal "padluo@MYCDH.COM" created.
kadmin.local:  xst -norandkey -k padluo.keytab padluo@MYCDH.COM
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type aes256-cts-hmac-sha1-96 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type aes128-cts-hmac-sha1-96 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type des3-cbc-sha1 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type arcfour-hmac added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type des-hmac-sha1 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type des-cbc-md5 added to keytab WRFILE:padluo.keytab.

在生成keytab文件时需要加参数-norandkey,否则会导致,直接使用kinit padluo@MYCDH.COM初始化时会提示密码错误。

测试padluo.keytab文件,

kdestroy
sudo chmod 644 padluo.keytab
ll padluo.keytab
kinit -kt padluo.keytab padluo@MYCDH.COM
klist

在非root用户下需要将生成的keytab文件,权限设置到644以上,否则会初始化失败kinit: ???? while getting initial credentials或者使用sudo权限初始化。

将生成的padluo.keytab文件拷贝到Windows 10/7上,在CMD命令进行初始化,

kdestroy
kinit -kt C:\padluo.keytab padluo@MYCDH.COM
klist

初始化成功,在MIT Kerberos客户端显示,


kinit初始化成功

DBeaver安装配置

DBeaver安装包下载地址如下,安装为界面化操作,下一步下一步完成安装即可。

https://dbeaver.io/download/

因为DBeaver通过JDBC的方式访问Hive,底层也是基于Java环境,所以这里需要在DBeaver的配置中增加JVM的参数,添加关于Kerberos相关的配置。进入DBeaver的安装目录,找到dbeaver.ini配置文件,在配置文件末尾增加如下配置,重新启动DBeaver客户端。

-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf="C:\ProgramData\MIT\Kerberos5\krb5.ini"
-Dsun.security.krb5.debug=true

基于Cloudera驱动创建连接

在Cloudera官网下载Hive JDBC驱动包,Cloudera官网提供的JDBC驱动包比较简单只有一个jar包,Hive JDBC驱动包及其依赖包均打包在里面,但在JDBC URL的访问方式上也做了一定的调整。地址如下,

https://www.cloudera.com/downloads/connectors/hive/jdbc/2-6-5.html

将下载的Hive JDBC Driver驱动包解压到本地目录,将ClouderaHiveJDBC41-2.6.2.1002解压得到HiveJDBC41.jar驱动包,该驱动包包含了HiveJDBC驱动的依赖包。

在DBeaver中进入驱动设置界面,在URL模板中增加如下参数:

;AuthMech=1;KrbRealm=MYCDH.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2
DBeaver驱动设置

AuthMech: 0无认证、1Kerberos认证、2用户名方式、3用户名和密码认证、6使用Hadoop授权认证

KrbRealm:你的KDC服务定义的域名

krbHostFQDN:你的HiveServer2服务的FQDN(hostname或你dns解析的域名)

KrbServiceName:HiveServer2服务的Principal默认为hive

KrbAuthType:0表示获取你的Subject来实现Kerberos认证、1表示基于JAAS方式获取Kerberos认证、2表示基于当前客户端的Tick Cache方式认证

添加Cloudera提供的Hive JDBC驱动,驱动类需要指定为"com.cloudera.hive.jdbc41.HS2Driver"。

点击确定完成驱动设置,填写替换{host}变量的主机地址,

点击测试连接,

测试连接结果

完成连接创建后即可正常访问Kerberos环境下的Hive库。

访问Kerberos环境下的Hive库

基于Hive原生驱动创建连接

基于Hive原生驱动创建连接的方式暂未进行测试。

最后,推荐极客时间新出的一个【大规模数据处理实战】的专栏,了解Google一线工程师的大数据架构实战经验,深入掌握实用的大规模数据处理技术。


大规模数据处理实战

微信公众号「padluo」,分享数据科学家的自我修养,既然遇见,不如一起成长。

数据分析

读者交流电报群

https://t.me/sspadluo


知识星球交流群

知识星球读者交流群
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容