关于DataX 增量更新实现
注：参考来源文章
增量更新总体思路：从目标数据库读取一个最大值的记录，可以是DataTime 或者 RowVersion 类型，然后根据这个最大值对源数据库要同步的表进行过滤，然后再进行同步即可。
由于DataX 支持多种数据库的读写，一种相对简单并且可靠的思路就是：
- 从csv 文件读取目标数据库上次抽取数据的一个最大值；
- 动态修改json配置文件（增加过滤条件）；
- 执行修改后的配置文件，进行增量同步；
- 同步成功，将系统当前时间写入csv文件；
接下来就是shell 脚本来一步一步实现增量更新
增量更新shell 实现
图示如下：
dataX增量更新方案.png
我们的同步环境是从oracle 到 hive，由于dataX 无法从目的数据库(即hive)中读取值，因此改为从csv文件读取，
同样因为无法读取hive数据库内最大值，因此最大值，采用上次数据同步时间。我们要做的只是每次数据同步成功后把系统时间写入到对应的csv文件中（每个表对应一个csv文件）。
1. 数据同步json 配置文件
从oracle 同步到hive ,部分配置如下
例： oracle2hive_ods_s_jy_AB01.json
{
"job": {
"content": [{
"reader": {
"name": "oraclereader",
"parameter": {
"column": ["AAB001", "AAB004", "AAB041", "AAB043", "AAB013", "to_char(sysdate,'yyyymmddhh24miss') as D_UPDATE"],
"where":"1=1",
"connection": [{
"jdbcUrl": ["jdbc:oracle:thin:@【源数据库ip】:【port】/pdb1"],
"table": ["NBJYJZ_NB_DATA_INF.AB01"]
}],
"username": "***",
"password": "***"
}
},
"writer": {
"name": "hdfswriter",
"parameter": {
"column": [{
"name": "AAB001",
"type": "STRING"
}, {
"name": "AAB004",
"type": "STRING"
},
...
],
"defaultFS": "hdfs://【目的ip】:【port】",
"fieldDelimiter": "\t",
"fileName": "ods_s.ods_jy_ab01",
"fileType": "text",
"path": "/user/hive/warehouse/ods_s.db/ods_jy_nb_ab01",
"writeMode": "append"
}
}
}],
"setting": {
"speed": {
"byte": 10485760,
"channel": "5"
}
}
}
}
数据同步的脚本有了，读取最大值的脚本可以写在shell 里。下面配置dataX增量同步的shell脚本。
2. 增量同步的shell脚本配置
#!/bin/bash
#datax 数据抽取
#create time:2018-11-27 10:00:00
### every exit != 0 fails the script
# 错误检查，有错误的时候退出
set -e
# 我们的dataX脚本里需要的参数，不需要的可以不加
systemDate=`date +%Y-%m-%d,%H:%M:%S`
# 获取当前时间，这个是同步后要写到csv文件的变量
current_time=`date +"%Y-%m-%d %H:%M:%S"`
echo ${current_time}
shell_array[0]= oracle2hive_ods_s_jy_AB01.json
# shell_array[1]= oracle2hive_ods_s_jy_AB02.json
# shell_array[2]= oracle2hive_ods_s_jy_AB07.json
# ...
# 遍历文件名
for i in ${#shell_array[*]}
do
# 循环执行命令
# ${shell_array[$i]} 文件名
# 通过文件名称截取表名，我们的脚本命名末尾标识的是表名
table_name=${${shell_array[$i]}:0-9:4}
# 1. 找到 csv文本文件，并将内容读取到一个变量中
MAX_TIME=`cat /opt/datax/job/jy/result/${table_name}.csv`
# 如果最大时间不为 null 的话， 修改全部同步的配置，进行增量更新；
# 如果最大时间为null ,进行全量更新;
if [ "$MAX_TIME" != "null" ]; then
# 设置增量更新过滤条件
WHERE="AAE036 > '$MAX_TIME'"
# 2.改写json配置文件
sed "s/1=1/$WHERE/g" /opt/datax/job/jy/ql/${shell_array[$i]} > /opt/datax/job/jy/zl/${${shell_array[$i]}/.json/_zl.json}
# 3.增量更新
python /opt/datax/bin/datax.py -p "-DsystemDate='$systemDate'" -j "-Xms4g -Xmx4g" /opt/datax/job/jy/zl/${${shell_array[$i]}/.json/_zl.json}
else
# 全量更新
python /opt/datax/bin/datax.py -p "-DsystemDate='$systemDate'" -j "-Xms4g -Xmx4g" /opt/datax/job/jy/ql/${shell_array[$i]}
fi
if [ $? -ne 0 ]; then
#命令执行失败，不做任何操作
else
# 执行成功，将最大日期写入csv 文件,覆盖写入
table_name=${${shell_array[$i]}:0-9:4}
echo ${current_time} > /opt/datax/job/jy/result/${table_name}.csv
fi
# 删除临时文件,增量文件
rm -rf /opt/datax/job/jy/zl/${${shell_array[$i]}/.json/_zl.json}
done
补充：上述脚本中用到shell关于字符串的操作（大神请略过）
- 1.shell字符串替换
var=oracle2hive_ods_s_jy_AB01.json
# echo ${var/查找字符串/替换字符串}
echo ${$var/.json/_zl.json}
结果：oracle2hive_ods_s_jy_AB01_zl.json
- 2.shell 字符串截取
var=oracle2hive_ods_s_jy_AB01.json
echo ${$var:0-9:4}
结果： AB01
################
sed "s/查找字符串/替换字符串/g" 源文件 > 目标文件
