一、go-mysql-transfer
go-mysql-transfer是使用Go语言实现的MySQL数据库实时增量同步工具。能够实时监听MySQL二进制日志(binlog)的变动，将变更内容形成指定格式的消息，发送到接收端。在数据库和接收端之间形成一个高性能、低延迟的增量数据(Binlog)同步管道, 具有如下特点：
go-mysql-transfer具有如下特点：
1、不依赖其它组件，一键部署
2、集成多种接收端，如：Redis、MongoDB、Elasticsearch、RabbitMQ、Kafka、RocketMQ，不需要再编写客户端，开箱即用
3、内置丰富的数据解析、消息生成规则；支持Lua脚本，以处理更复杂的数据逻辑
4、支持监控告警，集成Prometheus客户端
5、高可用集群部署
6、数据同步失败重试
7、全量数据初始化
详情及安装说明 请参见： MySQL Binlog 增量同步工具go-mysql-transfer实现详解
项目开源地址：
gitee (速度更快) :go-mysql-transfer
github：go-mysql-transfer
如果此工具对你有帮助，请Star支持下
二、配置
# app.yml
target: mongodb #目标类型
mongodb_addrs: 127.0.0.1:27017 #mongodb连接地址，多个用逗号分隔
#mongodb_username: #mongodb用户名，默认为空
#mongodb_password: #mongodb密码，默认为空
三、数据转换规则
相关配置如下：
rule:
-
schema: eseap #数据库名称
table: t_user #表名称
#order_by_column: id #排序字段，存量数据同步时不能为空
#column_lower_case:false #列名称转为小写,默认为false
#column_upper_case:false#列名称转为大写,默认为false
column_underscore_to_camel: true #列名称下划线转驼峰,默认为false
# 包含的列，多值逗号分隔，如：id,name,age,area_id 为空时表示包含全部列
#include_columns: ID,USER_NAME,PASSWORD
#exclude_columns: BIRTHDAY,MOBIE # 排除掉的列，多值逗号分隔，如：id,name,age,area_id 默认为空
#column_mappings: CARD_NO=sfz #列名称映射，多个映射关系用逗号分隔，如：USER_NAME=account 表示将字段名USER_NAME映射为account
#default_column_values: source=binlog,area_name=合肥 #默认的列-值，多个用逗号分隔，如：source=binlog,area_name=合肥
#date_formatter: yyyy-MM-dd #date类型格式化， 不填写默认yyyy-MM-dd
#datetime_formatter: yyyy-MM-dd HH:mm:ss #datetime、timestamp类型格式化，不填写默认yyyy-MM-dd HH:mm:ss
#mongodb相关
mongodb_database: transfer #mongodb database不能为空
#mongodb_collection: transfer_user #mongodb collection，可以为空，默认使用表名称
示例一
t_user表，数据如下：
同步到MongoDB的数据如下:
示例二
使用如下配置：
rule:
-
schema: eseap #数据库名称
table: t_user #表名称
#order_by_column: id #排序字段，存量数据同步时不能为空
column_lower_case: true #列名称转为小写,默认为false
#column_upper_case:false#列名称转为大写,默认为false
#column_underscore_to_camel: true #列名称下划线转驼峰,默认为false
# 包含的列，多值逗号分隔，如：id,name,age,area_id 为空时表示包含全部列
#include_columns: ID,USER_NAME,PASSWORD
#exclude_columns: BIRTHDAY,MOBIE # 排除掉的列，多值逗号分隔，如：id,name,age,area_id 默认为空
column_mappings: USER_NAME=account #列名称映射，多个映射关系用逗号分隔，如：USER_NAME=account 表示将字段名USER_NAME映射为account
default_column_values: area_name=合肥 #默认的列-值，多个用逗号分隔，如：source=binlog,area_name=合肥
#date_formatter: yyyy-MM-dd #date类型格式化， 不填写默认yyyy-MM-dd
#datetime_formatter: yyyy-MM-dd HH:mm:ss #datetime、timestamp类型格式化，不填写默认yyyy-MM-dd HH:mm:ss
#mongodb相关
mongodb_database: transfer #mongodb database不能为空
mongodb_collection: account #mongodb collection，可以为空，默认使用表名称
column_mappings配置项表示对列名称进行重新映射
同步到MongoDB的数据如下:
四、Lua脚本
使用Lua脚本可以实现更复杂的数据处理逻辑，go-mysql-transfer支持Lua5.1语法。
示例一
t_user表，数据如下：
引入Lua脚本：
rule:
-
schema: eseap #数据库名称
table: t_user #表名称
lua_file_path: lua/t_user_mongo.lua #lua脚本文件
mongodb_database: transfer #mongodb database不能为空
Lua脚本：
local ops = require("mongodbOps") --加载mongodb操作模块
local row = ops.rawRow() --当前数据库的一行数据,table类型
local action = ops.rawAction() --当前数据库事件,包括：insert、update、delete
local result = {} -- 定义一个table
for k, v in pairs(row) do
if k ~="ID" then -- 列名不为ID
result[k] = v
end
end
local id = row["ID"] --获取ID列的值
result["_id"] = id -- _id为MongoDB的主键标识
if action == "insert" then -- 新增事件
ops.INSERT("t_user",result) -- 新增，第一个参数为collection名称，string类型；第二个参数为要修改的数据，talbe类型
elseif action == "delete" then -- 删除事件 -- 修改事件
ops.DELETE("t_user",id) -- 删除，第一个参数为collection名称(string类型)，第二个参数为ID
else -- 修改事件
ops.UPDATE("t_user",id,result) -- 修改，第一个参数为collection名称，string类型；第二个参数为ID；第三个参数为要修改的数据，talbe类型
end
同步到MongoDB的数据如下:
示例二
t_user表，同实例一
使用如下脚本：
local ops = require("mongodbOps") --加载mongodb操作模块
local row = ops.rawRow() --当前数据库的一行数据,table类型
local action = ops.rawAction() --当前数据库事件,包括：insert、update、delete
local id = row["ID"] --获取ID列的值
local userName = row["USER_NAME"] --获取USER_NAME列的值
local password = row["PASSWORD"] --获取USER_NAME列的值
local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值
local result = {} -- 定义一个table
result["_id"] = id -- _id为MongoDB的主键标识
result["account"] = userName
result["password"] = password
result["createTime"] = createTime
result["source"] = "binlog" -- 数据来源
if action == "insert" then -- 只监听insert事件
ops.INSERT("t_user",result) -- 新增，第一个参数为collection名称，string类型；第二个参数为要修改的数据，talbe类型
end
同步到MongoDB的数据如下:
mongodbOps模块提供的方法如下：
- INSERT: 插入操作,如：ops.INSERT(collection,result)。参数collection为集合名称，字符串类型；参数result为要插入的数据，table类型
- UPDATE: 修改操作,如：ops.UPDATE(collection,id,result)。参数collection为集合名称，字符串类型；参数id为要修改的数据主键，类型不限；参数result为要修改的数据，table类型
- DELETE: 删除操作,如：ops.DELETE(collection,id)。参数collection为集合名称，字符串类型；参数id为要修改的数据主键，类型不限；
