1. canal
阿里巴巴的产品，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。
安装包下载地址，以及官方文档地址：官方github主页
2. canal 工作原理
- 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
3. 修改mysql binlog配置
修改mysql my.conf文件
log-bin=mysql-bin
binlog_format=row
server-id=1
参考：MaxWell+kafka解析mysql binlog
4. 在mysql中，给canal添加权限
mysql> create user canal identified by ‘canal’;
mysql> grant select,replication slave,replication client on *.* to ‘canal’@’%’;
mysql> flush privileges;
5. 修改canal的配置文件
# conf/example/instance.properties
canal.instance.master.address=127.0.0.1:3306 #mysql的地址端口
canal.instance.dbUsername=canal #mysql中赋予权限的用户
canal.instance.dbPassword=canal #mysql中赋予权限的密码
canal.instance.connectionCharset = UTF-8
canal.instance.filter.regex=.*\\..* #过滤模式，默认不过滤
canal.mq.topic=example
# conf/canal.properties
canal.serverMode = kafka
canal.mq.servers = node01:9092,node02:9092.node03:9093
canal.mq.producerGroup = test
6. 测试
- 启动canal
sh bin/startup.sh
- 启动kafka消费者
代码参见：MaxWell+kafka解析mysql binlog 将其中 topic 改为 ‘example’ 后运行即可。 - 在mysql中新增数据
- 结果：
# idea 控制台打印如下：
消费的数据为：{"data":[{"id":"9","name":"fak","money":"30.0"}],"database":"db01","es":1575958431000,"id":4,"isDdl":false,"mysqlType":{"id":"int(11)","name":"varchar(20)","money":"double"},"old":null,"pkNames":["id"],"sql":"","sqlType":{"id":4,"name":12,"money":8},"table":"account2","ts":1575958431511,"type":"INSERT"}
