##Kettle学习小结

//
Kettle学习小结 - 简书
http://www.jianshu.com/p/43779258c1ce

Kettle学习小结学习资料官方文档: http://infocenter.pentaho.com开发帮助文档:http://wiki.pentaho.com/Bug报告地址: http://jira.pentaho.com/browse/PDI官方论坛: http://forums.pentaho.org/forumdisplay.php?f=135中文论坛: http://www.pentahochina.com一、部署系统的java环境

安装JDK,版本要在1.6及以上在oracle官网上下载JDK,并安装(目前上42服务器上已安装,所以如下查看)
查看服务器上安装的JDK的版本信息echo $JAVA_HOME

添加JDK的环境变量(目前上42服务器上已安装,所以如下查看)
1)查看服务器上安装的JDK的版本信息echo $JAVA_HOME2)查看系统环境变量中JAVA_HOMEvim /etc/profile二、Kettle的安装部署(Linux环境下)1、在Pentaho的官网下载Kettle(下载Kettle的链接)(目前下载的最新的pdi-ce-6.1.0.1-196版)http://community.pentaho.com/projects/data-integration/http://nchc.dl.sourceforge.net/project/pentaho/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zip2、上传到路径:/opt/kettle文件夹中:并解压缩该文件unzip pdi-ce-6.1.0.1-196.zip3、执行kitchen.sh命令cd /opt/kettle/data-integration执行:kitchen.sh命令,如下图示,说明Kettle部署完成。四、资料库的创建1、新建资料库新建:Kettle Database Repository资料库创建Kettle资料库的数据库链接,如下:(目前是将Kettle的资料库放在MySql中)配置MySql JDBC连接:(kettle_rep是MySql中事先创建好的数据库(用来存放kettle的资料库信息))(Kettle连接MySql数据库时,必须将:MySql的jdbc驱动事先放在,kettle的lib目录/opt/kettle/data-integration/lib中,否则会报错,如下:)2、创建资料库中的各种表,如下:自动创建:如下示:已经创建了46张Kettle资料库的数据表:输入:rep资料库的用户名:admin(默认),密码:admin3、可修改:资料库用户的密码:五、Spoon组件开发实例

Kettle连接Hive数据库
Kettle自带的hive jdbc驱动包:Hive中jar包存放的位置:/opt/kettle/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp23/lib如下:配置对应的hive数据库连接后,一直报错,如下示:原因:Kettle连接hive时一直报错,最终找到原因是:hadoop认证拒绝hive连接(即:hadoop不允许用户冒充hive角色进行连接访问),报错如下:User: hadoop is not allowed to impersonate hive.解决方案:最终修复如下:在hadoop的安装目录下:cd /opt/hadoop/hadoop-2.7.2/etc/hadoop,找到core-site.xml (Hadoop核心配置项文件),添加如下配置:这几个配置项的值都可以使用来表示允许所有的主机/用户组/用户
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>
</value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property>最终,kettle连接hive成功,如下示:2、资料库中各项配置在如下路径下,找到文件:repositories.xml/opt/kettle/data-integration/.kettlevim repositories.xml打开,可以看到资料库的各种设置:如下:和编辑资料库连接中的信息,一一对应;3、转换中执行日志的设置1)任意打开一个转换,右击:找到属性:Properties:如下示:2)找到转换中:Logging位置:创建数据库连接:目前使用MySql数据库连接(即:将转换执行的日志信息,放在MySql数据库中,kettle_log是已事前创建好的数据库,trans_log表是自动创建好的,用来存放转换的执行日志信息。3)除了Transformation的日志外,也可以设置:Step,Performance,Logging channels,Metrics的日志,不过,目前暂时没有设置,因为只需要记录一些最关键的执行日志即可,否则如果添加的日志过多的话,会影响转换的运行速度。4)在kettle_log.trans_log表中可以查看到对应的执行记录:select *from kettle_log.trans_log torder by t.logdate desc;select *from kettle_log.trans_log twhere t.errors=1;--如果转换执行错误的话,kettle_log.trans_log中字段errors为1。

JOB的创建及定时
1)创建简单JOB,如下示:使用start组件和转换组件。2)start组件中定时:双击start组件,如下设置定时任务:3)运行JOB即可六、Kitchen命令执行cd /opt/kettle/data-integration

kitchen -version

kitchen –listrep
3、kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test(用spoon组件创建好并定时的JOB,用kitchen命令执行:kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test如果JOB有定时后,执行该命令后,可一直按照指定的时间间隔来执行。)七、开发中的坑(持续补充中)

  1. hive中添加jar,解析日志,但是kettle连接hive数据源报错

问题描述:hadoop hdfs上是原来info日志的不规则的数据,hive中添加jar(/opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar)来解析日志表数据,在hive命令行中,可正常执行;kettle连接hive时,可正常连接hive,但是解析对应的表时,一直报错。最终解决方案:在创建hive的数据库连接的时候,在高级中,添加:对应的解析程序的jar包。如下示:在高级中添加jar:add /opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar已经可以成功加载:对应hive连接下的数据库表字段。

推荐阅读更多精彩内容