Kettle学习小结

Kettle学习小结
学习资料
官方文档: http://infocenter.pentaho.com
开发帮助文档:http://wiki.pentaho.com/
Bug报告地址: http://jira.pentaho.com/browse/PDI
官方论坛: http://forums.pentaho.org/forumdisplay.php?f=135
中文论坛: http://www.pentahochina.com
一、kettlle下载及安装 下载地址:点击
打开下载页面可以看到下面很多版本信息,选择你想要的版本下载解压就可以了(注意免安装依赖java环境)

image.png

二、部署系统的java环境

1. 

安装JDK,版本要在1.6及以上
在oracle官网上下载JDK,并安装(目前上42服务器上已安装,所以如下查看)

查看服务器上安装的JDK的版本信息
echo $JAVA_HOME

1. 

添加JDK的环境变量(目前上42服务器上已安装,所以如下查看)

1)查看服务器上安装的JDK的版本信息
echo $JAVA_HOME
2)查看系统环境变量中JAVA_HOME
vim /etc/profile
三、Kettle的安装部署(Linux环境下)
1、在Pentaho的官网下载Kettle
(下载Kettle的链接)(目前下载的最新的pdi-ce-6.1.0.1-196版)
http://community.pentaho.com/projects/data-integration/
http://nchc.dl.sourceforge.net/project/pentaho/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zip
2、上传到路径:/opt/kettle文件夹中:并解压缩该文件unzip pdi-ce-6.1.0.1-196.zip
3、执行kitchen.sh命令
cd /opt/kettle/data-integration
执行:kitchen.sh命令,如下图示,说明Kettle部署完成。
四、资料库的创建
1、新建资料库
新建:Kettle Database Repository资料库
创建Kettle资料库的数据库链接,如下:(目前是将Kettle的资料库放在MySql中)
配置MySql JDBC连接:(kettle_rep是MySql中事先创建好的数据库(用来存放kettle的资料库信息))

Kettle连接MySql数据库时,必须将:MySql的jdbc驱动事先放在,kettle的lib目录/opt/kettle/data-integration/lib中,
否则会报错,如下:

2、创建资料库中的各种表,如下:自动创建:
如下示:已经创建了46张Kettle资料库的数据表:
输入:rep资料库的用户名:admin(默认),密码:admin
3、可修改:资料库用户的密码:
五、Spoon组件开发实例

1. 

Kettle连接Hive数据库

Kettle自带的hive jdbc驱动包:Hive中jar包存放的位置:
/opt/kettle/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp23/lib
如下:配置对应的hive数据库连接后,一直报错,如下示:
原因:
Kettle连接hive时一直报错,最终找到原因是:hadoop认证拒绝hive连接(即:hadoop不允许用户冒充hive角色进行连接访问),报错如下:
User: hadoop is not allowed to impersonate hive.
解决方案:
最终修复如下:在hadoop的安装目录下:cd /opt/hadoop/hadoop-2.7.2/etc/hadoop,找到core-site.xml (Hadoop核心配置项文件),添加如下配置:
这几个配置项的值都可以使用来表示允许所有的主机/用户组/用户
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>
</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
最终,kettle连接hive成功,如下示:
2、资料库中各项配置
在如下路径下,找到文件:repositories.xml
/opt/kettle/data-integration/.kettle
vim repositories.xml打开,可以看到资料库的各种设置:如下:
和编辑资料库连接中的信息,一一对应;
3、转换中执行日志的设置
1)任意打开一个转换,右击:找到属性:Properties:如下示:
2)找到转换中:Logging位置:
创建数据库连接:目前使用MySql数据库连接(即:将转换执行的日志信息,放在MySql数据库中,kettle_log是已事前创建好的数据库,trans_log表是自动创建好的,用来存放转换的执行日志信息。
3)除了Transformation的日志外,也可以设置:Step,Performance,Logging channels,Metrics的日志,不过,目前暂时没有设置,因为只需要记录一些最关键的执行日志即可,否则如果添加的日志过多的话,会影响转换的运行速度。
4)在kettle_log.trans_log表中可以查看到对应的执行记录:
select * from kettle_log.trans_log t
order by t.logdate desc;
select * from kettle_log.trans_log t
where t.errors=1;--如果转换执行错误的话,kettle_log.trans_log中字段errors为1。

1. 

JOB的创建及定时

1)创建简单JOB,如下示:使用start组件和转换组件。
2)start组件中定时:双击start组件,如下设置定时任务:
3)运行JOB即可
六、Kitchen命令执行
cd /opt/kettle/data-integration

1. 

kitchen -version

1. 

kitchen –listrep

3、kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test
(用spoon组件创建好并定时的JOB,用kitchen命令执行:
kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test
如果JOB有定时后,执行该命令后,可一直按照指定的时间间隔来执行。)
七、开发中的坑(持续补充中)

1. hive中添加jar,解析日志,但是kettle连接hive数据源报错

问题描述:
hadoop hdfs上是原来info日志的不规则的数据,hive中添加jar(/opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar)来解析日志表数据,在hive命令行中,可正常执行;kettle连接hive时,可正常连接hive,但是解析对应的表时,一直报错。
最终解决方案:
在创建hive的数据库连接的时候,在高级中,添加:对应的解析程序的jar包。
如下示:在高级中添加jar:add /opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar
已经可以成功加载:对应hive连接下的数据库表字段。

有问题可以加: QQ群:452881901
版权归:kettle老者
转载来源:kettle老者

推荐阅读更多精彩内容