Kettle入门使用

版本: pdi-ce-4.21.stable

作业和转换可以选择存在本地硬盘或者存在数据库中。

windows 可视化工具:

spoon工具

执行器:

  • 作业存储在文件: Kitchen.bat /level:Basic>D:\etl.log
    /file:F:\Kettledemo\email.kjb

  • 作业存储在数据库 Kitchen.bat /rep kettle /user admin /pass admin /job F_DEP_COMP

Linux 工具:

  • Pan——转换执行器: 用来执行转换。参数如下:

1- -version显示版本信息

2- -file=filename运行xml文件

3- -param:key=value指定命名参数

4- -log=logging filename 设置日志文件

5- -level=logging level 设置日志级别 默认是BASIC

示例: ./pan.sh -file=/home/work/test.ktr

  • Kitchen——作业执行器, 参数如下:
  1. -rep:Repositoryname 任务包所在存储库名称
  2. -user:Repositoryusername 执行人
  3. -pass:Repositorypassword 执行人密码
  4. -job:Thenameofthejobtolaunch 任务包名称
  5. -dir:Thedirectory 本地目录
  6. -file:Thefilename 执行文件
  7. -level:Thelogginglevel 指定日志级别
  8. -log:Theloggingfiletowriteto 指定日志文件
  9. -listdir:Listthedirectoriesintherepository 列出指定存储中的目录结构。
  10. -listjobs:Listthejobsinthespecifieddirectory 列出指定目录下的所有任务
  11. -listrep:Listthedefinedrepositories 列出所有的存储
  12. -norep:Don'tlogintotherepository 不写日志

示例: ./kitchen.sh -file=/home/work/test.kjb

日志级别:

Nothing:不显示任何输出
Minimal:只使用最少的记录
Basic:这是默认的基本日志记录级别
Detailed:详细的日志输出
Debug:以调试为目的,非常详细的输出
Rowlevel:使用行级记录,会产生大量的数据

执行脚本:

作业存储在文件:./kitchen.sh -file=/home/job/huimin.kjb >> /home/log/kettle.log

作业存储在数据库 ./kitchen.sh -rep=kettle_master -user=admin -pass=admin -level=Minimal -dir=/xxx/xxx -job=job

使用总结:

1, 在windows可视化工具中, 数据库密码不要复制粘贴
2, kettle 转换是在一个事务内的,只要一个失败,就会全部回滚