# kylo安装教程

kylo安装脚本

首先确认安装资源情况如下，根据实际情况配置修改all_config.properties中的配置

├── activemq
│   └── apache-activemq-5.15.4-bin.tar.gz
├── all_config.properties
├── elasticsearch
│   └── elasticsearch-6.3.1.tar.gz
├── java
│   └── jdk-8u171-linux-x64.tar.gz
├── kylo
│   └── kylo-0.9.1.tar
├── nifi
│   └── nifi-1.6.0-bin.tar.gz
└── setup_kylo.sh

all_config.properties配置文件详情

##########################👇这里不要修改#################################
ACTIVEMQ_INSTALL_VERSION=5.15.4
ACTIVEMQ_INSTALL_HOME=/opt/activemq
ACTIVEMQ_USER=activemq
ACTIVEMQ_GROUP=activemq
ACTIVEMQ_JAVA_HOME=$JAVA_HOME

NIFI_INSTALL_HOME=/opt/nifi
NIFI_USER=nifi
NIFI_GROUP=nifi
NIFI_VERSION=1.6.0
NIFI_DATA=/opt/nifi/data

KYLO_INSTALL_HOME=/opt/kylo
kylo_home_folder="/opt/kylo"

spark_home="/opt/cloudera/parcels/CDH/lib/spark"
validateAndSplitRecords_extraJars="/opt/cloudera/parcels/CDH/lib/hive-hcatalog/share/hcatalog/hive-hcatalog-core.jar"
hadoopConfigurationResources="/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml"
hive_lib_path="/opt/cloudera/parcels/CDH/lib/hive/lib"

#########################👆上面不要修改##################################

#kylo需要的mysql数据库，用户名，密码
mysql_kylo_db_host="127.0.0.1"
mysql_kylo_db_user="kylo"
mysql_kylo_db_password="kylo"

#kylo 安装主机IP
kylo_local_ip="10.88.88.121"
#kylo UI 用户密码 ,默认用户名是dladmin
dladmin_password="thinkbig"

#hive2 主机IP
hive_server2_host="10.88.88.120"
hive_metastore_datasource_url="10.88.88.120"

#下面两个没有可以不写
hive_metastore_datasource_username=""
hive_metastore_datasource_password=""


hive_service_principal="hive/kylo1.example.cc@KYLO.CC"
# kerberos.hive.kerberosPrincipal=$hive_service_principal
hive_service_kerberos_keytab="/etc/security/keytabs/hive.service.keytab"
# kerberos.hive.keytabLocation=$hive_service_kerberos_keytab

nifi_service_principal="nifi/kylo2.example.cc@KYLO.CC"
# nifi.service.hive_thrift_service.kerberos_principal=$nifi_service_principal

nifi_service_kerberos_keytab="/etc/security/keytabs/nifi.service.keytab"
# nifi.service.hive_thrift_service.kerberos_keytab=nifi_service_kerberos_keytab

nifi_user_principal="nifi/kylo2.example.cc@KYLO.CC"
# nifi.all_processors.kerberos_principal=$nifi_user_principal

nifi_user_kerberos_keytab="/etc/security/keytabs/nifi.service.keytab"
# nifi.all_processors.kerberos_keytab="nifi_user_kerberos_keytab"


# 配置spark.properties需要用到的配置
# kerberos.spark.kerberosPrincipal
kylo_user_principal="kylo@KYLO.CC"
# kerberos.spark.keytabLocation
kylo_user_kerberos_keytab="/etc/security/keytabs/kylo.user.keytab"

hdfs创建目录

[root]# su - hdfs

kinit -kt /etc/security/keytabs/hdfs.service.keytab [hdfs_principal_name]

hdfs dfs -mkdir /user/kylo
hdfs dfs -chown kylo:kylo /user/kylo
hdfs dfs -mkdir /user/nifi
hdfs dfs -chown nifi:nifi /user/nifi
hdfs dfs -mkdir /user/dladmin
hdfs dfs -chown dladmin:dladmin /user/dladmin

hdfs dfs -mkdir /etl
hdfs dfs -chown nifi:nifi /etl
hdfs dfs -mkdir /model.db
hdfs dfs -chown nifi:nifi /model.db
hdfs dfs -mkdir /archive
hdfs dfs -chown nifi:nifi /archive
hdfs dfs -mkdir -p /app/warehouse
hdfs dfs -chown nifi:nifi /app/warehouse

创建用户和组

在安装nifi,kylo, activemq的主机上创建用户

useradd -r -m -s /bin/bash nifi
useradd -r -m -s /bin/bash kylo
useradd -r -m -s /bin/bash activemq

groupadd -f kylo
groupadd -f nifi
groupadd -f activemq

创建kylo,nifi,hive的principal

[root@kylo1 ~]# mkdir -p /etc/security/keytabs

[root@kylo1 ~]# kadmin.local

kadmin.local: addprinc -randkey hive_service_principal

kadmin.local: addprinc -randkey nifi_service_principal

kadmin.local: addprinc -randkey nifi_user_principal

kadmin.local: addprinc -randkey kylo_user_principal

导出principal

[root@kylo1 ~]#  kadmin.local

kadmin.local: xst -norandkey -k /etc/security/keytabs/hive.service.keytab $hive_service_principal

kadmin.local: xst -norandkey -k /etc/security/keytabs/nifi.service.keytab $nifi_service_principal

kadmin.local: xst -norandkey -k /etc/security/keytabs/nifi.user.keytab $nifi_user_principal

kadmin.local: xst -norandkey -k /etc/security/keytabs/kylo.user.keytab $kylo_user_principal

kadmin.local: q

把导出的principal拷贝到kylo安装的主机上并执行如下操作

[root@kylo2 ~]# chmod 440 /etc/security/keytabs/hive.service.keytab

[root@kylo2 ~]# chown kylo:kylo /etc/security/keytabs/hive.service.keytab

[root@kylo2 ~]# chown nifi:nifi /etc/security/keytabs/nifi.service.keytab

[root@kylo2 ~]# chmod 440 /etc/security/keytabs/nifi.service.keytab

[root@kylo2 ~]# chown nifi:nifi /etc/security/keytabs/nifi.user.keytab

[root@kylo2 ~]# chmod 440 /etc/security/keytabs/nifi.user.keytab

[root@kylo2 ~]# chown kylo:kylo /etc/security/keytabs/kylo.user.keytab

[root@kylo2 ~]# chmod 440 /etc/security/keytabs/kylo.user.keytab

脚本功能预览

image

安装mysql

创建kylo用户数据库

登录mysql创建kylo用户，密码为kylo

CREATE USER 'kylo'@'%' IDENTIFIED BY 'kylo';

授权可以远程登录

GRANT ALL PRIVILEGES ON *.* TO 'kylo'@'%' IDENTIFIED BY 'kylo' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'kylo'@'127.0.0.1' IDENTIFIED BY 'kylo' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'kylo'@'localhost' IDENTIFIED BY 'kylo' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'kylo'@'10.88.88.1' IDENTIFIED BY 'kylo' WITH GRANT OPTION;

FLUSH PRIVILEGES;

安装JDK8

配置JAVA_HOME

安装ActiveMQ

安装ActiveMQ之前需要配置JAVA_HOME环境变量

安装eslasticsearch

安装eslasticsearch 也需要JAVA_HOME环境变量
默认去下载 eslasticsearch rpm安装包自动启动，然后执行创建kylo索引，安装之前最好先安装kylo

service elasticsearch status

service elasticsearch start

安装kylo

image

配置kylo

询问用户是否启用kerberos

Would you enable kerberos ? Please enter y/n:

在启用kerberos的情况下。要给nifi用户对hive的超级管理员权限。并在hdfs上通过setfacl执行如下命令：

hdfs dfs -setfacl -R -m user:hive:rwx /app/warehouse

为kylo创建elastechesarch索引

需要启动elastechearch

启动/停止kylo

kylo启动前，需要先启动activemq , elastechearch ,nifi

[root@kylo2 ~]# kylo-service start
[root@kylo2 ~]# kylo-service stop

Check the logs for errors.

/var/log/kylo-services.log
/var/log/kylo-ui/kylo-ui.log
/var/log/kylo-services/kylo-spark-shell.log

Login to the Kylo UI.

http://kylo_host:8400
username:dladmin
password:thinkbig

导入模板

特别说明请在 kylo和nifi正常启动后执行

导入模板后，UI上可以看到如下界面

image

安装nifi

需要用户选择是否启用kerberos

image

Start/Stop NiFi

[root@kylo2 ~]# service nifi start
[root@kylo2 ~]# service nifi stop

Tail the logs to look for errors.

tail -f /var/log/nifi/nifi-app.log

nifi UI

http://nifi_host:8079/nifi/

更新kylo数据库

相当于初始化kylo环境。如果已经导入模板，需要删除nifi并重新安装nifi

安装jce_policy

依赖JAVA_HOME

This extension is required to allow encrypted property values in the Kylo configuration files. If you already have a Java 8 installed on the system, you can install the Java Cryptographic Extension by this.

停止kylo 、 nifi 、删除nifi[可选]

为恢复kylo环境准备

最后预览一下kylo界面

image

最后编辑于：2019.04.25 13:54:37

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 157,198评论 4赞 359
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 66,663评论 1赞 290
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 106,985评论 0赞 237
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,673评论 0赞 202
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 51,994评论 3赞 285
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,399评论 1赞 211
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,717评论 2赞 310
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,407评论 0赞 194
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,112评论 1赞 239
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,371评论 2赞 241
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 31,891评论 1赞 256
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,255评论 2赞 250
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 32,881评论 3赞 233
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,010评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,764评论 0赞 192
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,412评论 2赞 269
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,299评论 2赞 260

# kylo安装教程

kylo安装脚本

all_config.properties配置文件详情

hdfs创建目录

创建用户和组

创建kylo,nifi,hive的principal

导出principal

脚本功能预览

安装mysql

创建kylo用户数据库

授权可以远程登录

安装JDK8

安装ActiveMQ

安装eslasticsearch

安装kylo

配置kylo

为kylo创建elastechesarch索引

启动/停止kylo

Check the logs for errors.

Login to the Kylo UI.

导入模板

安装nifi

Start/Stop NiFi

Tail the logs to look for errors.

nifi UI

更新kylo数据库

安装jce_policy

停止kylo 、 nifi 、删除nifi[可选]

最后预览一下kylo界面

推荐阅读更多精彩内容