因为第三方数据库不给数据字典，只提供链接。写了从Http到数据仓库的job
转换
先完成从Http到DB的数据抽取。写了一个最简单的Demo转换。
数据抽取流程
1. 生成记录
生成记录里存储Http请求的链接，因为http链接中有不同的传参，还没有研究出如何传参，就分了3个url。有知道的教教我
生成记录
2. Http请求
URL从字段中获取，对应生成记录里的字段，这里用url001，同时生成了其他两个转换用了url002和url003
Http请求
3. JSON解析
将Http中获取的JSON数据放在data字段中（data可以自己命名，与后面对应即可）。
JSON解析-获取JSON
从data中抽取出所需要的字段，便于后续对应到数据库。（纯手工
不知道能不能自动）
JSON解析-字段
4.数据库更新/插入
建立JSON数据字段与DB表字段的对应关系。数据库的表需要先手动创建。编辑映射在字段名字相同的情况下基本可以自动对应字段。
数据库更新/插入
5.数据库连接
由于本地用的是sqlite，测试服务器用的是SQL Server，贴一下两个数据库的配置
-
sqlite
sqlite -
SQL Server
SQL Server
作业job
start后分别将url001、url002、url003三个转换依次实现。
job流程
1. Start
Start可以设置定时任务等。Demo这里不需要。
Start
2. 转换
将对应的转换文件.ktr加入到转换中
屏幕快照 2019-04-15 17.10.12.png
执行
可以执行job了。Spoon、Pan、Kitchen都可以执行。方法在kettle初体验中。
