Maxwell + spark + Kafka安装

问题

现在有一个需求,在一定时间段(15分钟)统计交易情况,Hive的话是可以实现功能,但是效率低,最终决定使用Spark Streaming + Kafka。但是业务部门没法通过Kafak报送时间(需求太多没有时间开发),我们开始找实时获取MySQL数据到Kafka的工具。

Maxwell

下面这个文章介绍常见的实时获取MySQL数据到Hadoop的方法

实时抓取MySQL的更新数据到Hadoop

安装Spark + Kafka

Kafka安装
Spark安装

安装Maxwell

具体参考官网

安装完成后执行如下命令:

在maxwell的安装目录下执行如下命令:

数据库每次操作将实现出来
bin/maxwell --user='maxwell' --password='maxwell' --host='127.0.0.1' --producer=stdout

生成一个topic为maxwell的消息
bin/maxwell --user='maxwell' --password='maxwell' --host='localhost' --producer=kafka --kafka.bootstrap.servers=hadoop1:9092  

查看主题信息
kafka-topics -zookeeper hadoop1:2181 -describe -topic maxwell

消费主题
kafka-console-consumer -zookeeper hadoop1:2181 --from-beginning --topic maxwell

推荐阅读更多精彩内容