MySQL Binlog 同步工具go-mysql-transfer Lua模块使用说明

一、go-mysql-transfer

go-mysql-transfer是一款MySQL实时、增量数据同步工具。能够实时解析MySQL二进制日志binlog,并生成指定格式的消息,同步到接收端。

go-mysql-transfer具有如下特点:

1、不依赖其它组件,一键部署

2、集成多种接收端,如:Redis、MongoDB、Elasticsearch、RabbitMQ、Kafka、RocketMQ,不需要再编写客户端,开箱即用

3、内置丰富的数据解析、消息生成规则;支持Lua脚本,以处理更复杂的数据逻辑

4、支持监控告警,集成Prometheus客户端

5、高可用集群部署

6、数据同步失败重试

7、全量数据初始化

详情及安装说明 请参见: MySQL Binlog 增量同步工具go-mysql-transfer实现详解

项目开源github地址:go-mysql-transfer

如果此工具对你有帮助,请在github中Star支持下

二、Lua脚本引擎

go-mysql-transfer中使用gopher-lua作为Lua虚拟机,支持Lua5.1规范。Lua作为专业的内置脚本语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。开发者只需要花费少量时间就能大致掌握其用法。

基于Lua的高扩展性,可以实现更为复杂的数据解析、消息生成、数据处理逻辑。

三、json模块

提供json数据格式的序列化和反序列化功能,提供encode和decode两个方法。
使用示例如下:

local json = require("json")   -- 加载json模块
local ops = require("mqOps") --加载mq操作模块

local row = ops.rawRow()  --当前数据库的一行数据,table类型,key为列名称
local action = ops.rawAction()  --当前数据库事件,包括:insert、updare、delete

local id = row["ID"] --获取ID列的值
local userName = row["USER_NAME"] --获取USER_NAME列的值
local password = row["PASSWORD"] --获取USER_NAME列的值
local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值

local result = {}  -- 定义一个table,作为结果
result["id"] = id
result["action"] = action

if action == "delete" -- 删除事件
then
    local val = json.encode(result) -- 将result转为json
    ops.SEND("transfer_test_topic",val) -- 发送消息,第一个参数为topic(string类型),第二个参数为消息内容
else 
    result["userName"] = userName
    result["password"] = password
    result["createTime"] = createTime
    result["source"] = "binlog" -- 数据来源
    local val = json.encode(result) -- 将result转为json
    ops.SEND("transfer_test_topic",val) -- 发送消息,第一个参数为topic(string类型),第二个参数为消息内容
    -- local obj = json.decode(val ) -- json反序列化
    -- print(obj ["createTime"])

四、db(数据库操作)模块

比如我们有角色表(t_role):

ID CODE NAME REMARK
1 r1 管理员 具有所有操作权限
2 r2 测试员 具有测试功能的操作权限

用户表(t_user):

ID USER_NAME PASSWORD ROLE_CODE CREATE_TIME
1 admin 123456 r1 2020-10-20 22:00:10

我们需要监听t_user表,并向接收端发送如下格式的消息:

{
       
    "id": "1",
    "userName": "admin"
    "password": "123456",
    "createTime": 100001,
    "roleName": "系统管理员",
    "roleRemark": "管理后台相关信息",
    "source": "binlog",
    
}

基于Binlog的数据同步工具,只能监听到一行数据的变更,进行响应。无法像基于SQL的ETL工具那样具有多表连接的能力。如果要得到向上面那样的聚合数据,需要使用dbOps模块,用法如下:

local json = require("json")   -- 加载json模块
local ops = require("mqOps") --加载mq操作模块
local db = require("dbOps") --加载数据库(db)操作模块

local row = ops.rawRow()  --当前数据库的一行数据,table类型,key为列名称
-- print(json.encode(row))
local action = ops.rawAction()  --当前数据库事件,包括:insert、updare、delete

local id = row["ID"] --获取ID列的值
local userName = row["USER_NAME"] --获取USER_NAME列的值
local password = row["PASSWORD"] --获取USER_NAME列的值
local roleCode = row["ROLE_CODE"] --角色编码
local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值

local result = {}  -- 定义一个table,作为结果
result["id"] = id
result["action"] = action

if action == "delete" -- 删除事件
then
    local val = json.encode(result) -- 将result转为json
    ops.SEND("user_topic",val) -- 发送消息,第一个参数为topic(string类型),第二个参数为消息内容
else 
    
    local sql = string.format("SELECT * FROM ESEAP.T_ROLE WHERE CODE = '%s'",roleCode) -- SQL语句,不能直接使用表名,要使用(数据库名称.表名称),如:ESEAP.T_ROLE
    local roleRS = db.selectOne(sql) -- 执行SQL查询,返回一条查询结果,table类型,结构如:{"CODE":"a1","ID":"1","NAME":"系统管理员","REMARK":"管理后台相关信息"}
    -- print(json.encode(roleRS))
    local roleName = roleRS["NAME"] --角色名称
    local roleRemark = roleRS["REMARK"] --角色描述
    
    -- local roleListRS = db.select(sql) -- 执行SQL查询,返回多条条查询结果,数组类型,元素为table,结构如:[{"CODE":"a1","ID":"1","NAME":"系统管理员","REMARK":"管理后台相关信息"}]
    -- print(json.encode(roleListRS))
    
    result["userName"] = userName
    result["password"] = password
    result["createTime"] = createTime
    result["source"] = "binlog" -- 数据来源
    result["roleName"] = roleName
    result["roleRemark"] = roleRemark
    local val = json.encode(result) -- 将result转为json
    ops.SEND("user_topic",val) -- 发送消息,第一个参数为topic(string类型),第二个参数为消息内容
end 

dbOps模块的方法说明:
1、selectOne(sql) 查询一条数据,返回table类型的结果;如果查询不到数据,返回空table;如果查询到多个结果,会出错
2、select(sql) 查询多条数据,返回数组类型的结果,数组元素为tablem(格式如:[table1,table2]);查询不到结果,返回空table;

四、http客户端模块

让go-mysql-transfer具体发送任意http请求的能力,httpOps提供的方法说明:

1、get(url,headers) 发送get请求;url为请求地址;headers为请求头参数,table类型
2、delete(url,headers) 发送delete请求;url为请求地址;headers为请求头参数,table类型
3、post(url,headers,formItems) 发送post请求;url为请求地址;headers为请求头参数,table类型;formItems为表单数据,table类型
4、put(url,headers,formItems) 发送put请求;url为请求地址;headers为请求头参数,table类型;formItems为表单数据,table类型

上面4个方法的返回值为一个table类型的结果,元素"status_code"为http响应状态,Number类型(如:200、401、403、500等);元素body为http响应内容,string类型

httpOps模块具体用法如下:

local json = require("json")   -- 加载json模块
local ops = require("redisOps") --加载redis操作模块
local httpcli = require("httpOps") --加载http操作模块

local row = ops.rawRow()  --数据库当前变更的一行数据,table类型,key为列名称
local action = ops.rawAction()  --当前数据库事件,包括:insert、updare、delete

local _id = row["ID"] --获取ID列的值
local _userName = row["USER_NAME"] --获取USER_NAME列的值
local _password = row["PASSWORD"] --获取USER_NAME列的值
local _createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值
local key = "user_".._id -- 定义key

if action == "insert" -- 插入事件
then
    -- get
     local url = string.format("http://localhost:9999/http_tests?user_name=%s", userName) 
     local res = httpcli.get(url,{
        Authorization="Basic OSdjJGRpbjpvcGVuIANlc2SdDE=="
     }) -- http get请求,第一个参数为URL,类型为string;第二个参数为header参数,类型为table
     local status = res.status_code
    --print(res.status_code)  -- http响应代码,如:200、401、403、500等
    --print(res.body)-- http响应内容,string类型
    --local resObj = json.decode(res.body) -- json反序列化响应内容
    --print(resObj["msg"])
    
    
    -- delete
    --local url = string.format("http://localhost:9999/http_tests?user_name=%s", userName) 
    --local res = httpcli.delete(url,{
    --  Authorization="Basic OSdjJGRpbjpvcGVuIANlc2SdDE=="
    --}) -- http delete请求,第一个参数为URL,类型为string;第二个参数为header参数,类型为table
    
    -- post
    --local url = "http://localhost:9999/http_tests"
    --local res = httpcli.post(url,{
    --  Authorization="Basic OSdjJGRpbjpvcGVuIANlc2SdDE=="
    --},{
    --  id=_id,
    --  userName=_userName,
    --  password=_password,
    --  createTime=_createTime
    --}) -- http post请求,第一个参数为URL,类型为string;第二个参数为header参数,类型为table;第三个参数为post内容,类型为table
    
    --put
    --local url = "http://localhost:9999/http_tests"
    --local res = httpcli.put(url,{
    --  Authorization="Basic OSdjJGRpbjpvcGVuIANlc2SdDE=="
    --},{
    --  id=_id,
    --  userName=_userName,
    --  password=_password,
    --  createTime=_createTime
    --}) -- http put请求,第一个参数为URL,类型为string;第二个参数为header参数,类型为table;第三个参数为post内容,类型为table
    
    if status == 200
    then 
        ops.SADD("user_set",userName.."|succeed") -- 对应Redis的SADD命令,第一个参数为key(支持string类型),第二个参数为value
    else
        ops.SADD("user_set",userName.."|failed") -- 对应Redis的SADD命令,第一个参数为key(支持string类型),第二个参数为value
    end
    
    
end