MySQL数据实时增量同步到MongoDB

一、go-mysql-transfer

go-mysql-transfer是使用Go语言实现的MySQL数据库实时增量同步工具。能够实时监听MySQL二进制日志(binlog)的变动,将变更内容形成指定格式的消息,发送到接收端。在数据库和接收端之间形成一个高性能、低延迟的增量数据(Binlog)同步管道, 具有如下特点:

go-mysql-transfer具有如下特点:

1、不依赖其它组件,一键部署

2、集成多种接收端,如:Redis、MongoDB、Elasticsearch、RabbitMQ、Kafka、RocketMQ,不需要再编写客户端,开箱即用

3、内置丰富的数据解析、消息生成规则;支持Lua脚本,以处理更复杂的数据逻辑

4、支持监控告警,集成Prometheus客户端

5、高可用集群部署

6、数据同步失败重试

7、全量数据初始化

详情及安装说明 请参见: MySQL Binlog 增量同步工具go-mysql-transfer实现详解

项目开源github地址:go-mysql-transfer

如果此工具对你有帮助,请在github中Star支持下

二、配置

# app.yml

target: mongodb  #目标类型
mongodb_addrs: 127.0.0.1:27017  #mongodb连接地址,多个用逗号分隔
#mongodb_username:  #mongodb用户名,默认为空
#mongodb_password:  #mongodb密码,默认为空

三、数据转换规则

相关配置如下:

rule:
  -
    schema: eseap #数据库名称
    table: t_user #表名称
    #order_by_column: id #排序字段,存量数据同步时不能为空
    #column_lower_case:false #列名称转为小写,默认为false
    #column_upper_case:false#列名称转为大写,默认为false
    column_underscore_to_camel: true #列名称下划线转驼峰,默认为false
    # 包含的列,多值逗号分隔,如:id,name,age,area_id  为空时表示包含全部列
    #include_columns: ID,USER_NAME,PASSWORD
    #exclude_columns: BIRTHDAY,MOBIE # 排除掉的列,多值逗号分隔,如:id,name,age,area_id  默认为空
    #column_mappings: CARD_NO=sfz    #列名称映射,多个映射关系用逗号分隔,如:USER_NAME=account 表示将字段名USER_NAME映射为account
    #default_column_values: source=binlog,area_name=合肥  #默认的列-值,多个用逗号分隔,如:source=binlog,area_name=合肥
    #date_formatter: yyyy-MM-dd #date类型格式化, 不填写默认yyyy-MM-dd
    #datetime_formatter: yyyy-MM-dd HH:mm:ss #datetime、timestamp类型格式化,不填写默认yyyy-MM-dd HH:mm:ss
    #mongodb相关
    mongodb_database: transfer #mongodb database不能为空
    #mongodb_collection: transfer_user #mongodb collection,可以为空,默认使用表名称

示例一

t_user表,数据如下:

同步到MongoDB的数据如下:

示例二

使用如下配置:

rule:
  -
    schema: eseap #数据库名称
    table: t_user #表名称
    #order_by_column: id #排序字段,存量数据同步时不能为空
    column_lower_case: true #列名称转为小写,默认为false
    #column_upper_case:false#列名称转为大写,默认为false
    #column_underscore_to_camel: true #列名称下划线转驼峰,默认为false
    # 包含的列,多值逗号分隔,如:id,name,age,area_id  为空时表示包含全部列
    #include_columns: ID,USER_NAME,PASSWORD
    #exclude_columns: BIRTHDAY,MOBIE # 排除掉的列,多值逗号分隔,如:id,name,age,area_id  默认为空
    column_mappings: USER_NAME=account    #列名称映射,多个映射关系用逗号分隔,如:USER_NAME=account 表示将字段名USER_NAME映射为account
    default_column_values: area_name=合肥  #默认的列-值,多个用逗号分隔,如:source=binlog,area_name=合肥
    #date_formatter: yyyy-MM-dd #date类型格式化, 不填写默认yyyy-MM-dd
    #datetime_formatter: yyyy-MM-dd HH:mm:ss #datetime、timestamp类型格式化,不填写默认yyyy-MM-dd HH:mm:ss
    #mongodb相关
    mongodb_database: transfer #mongodb database不能为空
    mongodb_collection: account #mongodb collection,可以为空,默认使用表名称

column_mappings配置项表示对列名称进行重新映射

同步到MongoDB的数据如下:

四、Lua脚本

使用Lua脚本可以实现更复杂的数据处理逻辑,go-mysql-transfer支持Lua5.1语法。

示例一

t_user表,数据如下:

引入Lua脚本:

rule:
  -
    schema: eseap #数据库名称
    table: t_user #表名称
    lua_file_path: lua/t_user_mongo.lua   #lua脚本文件
    mongodb_database: transfer #mongodb database不能为空

Lua脚本:

local ops = require("mongodbOps") --加载mongodb操作模块

local row = ops.rawRow()  --当前数据库的一行数据,table类型
local action = ops.rawAction()  --当前数据库事件,包括:insert、update、delete

local result = {}  -- 定义一个table
for k, v in pairs(row) do
    if k ~="ID" then -- 列名不为ID
        result[k] = v
    end
end
local id = row["ID"] --获取ID列的值
result["_id"] = id -- _id为MongoDB的主键标识

if action == "insert" then -- 新增事件
    ops.INSERT("t_user",result) -- 新增,第一个参数为collection名称,string类型;第二个参数为要修改的数据,talbe类型
elseif action == "delete" then -- 删除事件  -- 修改事件
    ops.DELETE("t_user",id) -- 删除,第一个参数为collection名称(string类型),第二个参数为ID 
else -- 修改事件
    ops.UPDATE("t_user",id,result) -- 修改,第一个参数为collection名称,string类型;第二个参数为ID;第三个参数为要修改的数据,talbe类型
end 

同步到MongoDB的数据如下:

示例二

t_user表,同实例一

使用如下脚本:

local ops = require("mongodbOps") --加载mongodb操作模块

local row = ops.rawRow()  --当前数据库的一行数据,table类型
local action = ops.rawAction()  --当前数据库事件,包括:insert、update、delete

local id = row["ID"] --获取ID列的值
local userName = row["USER_NAME"] --获取USER_NAME列的值
local password = row["PASSWORD"] --获取USER_NAME列的值
local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值
local result = {}  -- 定义一个table
result["_id"] = id -- _id为MongoDB的主键标识
result["account"] = userName
result["password"] = password
result["createTime"] = createTime
result["source"] = "binlog" -- 数据来源

if action == "insert" then -- 只监听insert事件
    ops.INSERT("t_user",result) -- 新增,第一个参数为collection名称,string类型;第二个参数为要修改的数据,talbe类型
end 

同步到MongoDB的数据如下:

mongodbOps模块提供的方法如下:

  1. INSERT: 插入操作,如:ops.INSERT(collection,result)。参数collection为集合名称,字符串类型;参数result为要插入的数据,table类型
  2. UPDATE: 修改操作,如:ops.UPDATE(collection,id,result)。参数collection为集合名称,字符串类型;参数id为要修改的数据主键,类型不限;参数result为要修改的数据,table类型
  3. DELETE: 删除操作,如:ops.DELETE(collection,id)。参数collection为集合名称,字符串类型;参数id为要修改的数据主键,类型不限;