发简信
IP属地：上海
-
Flink时间语义和watermark(水位线)
时间语义 Event Time：事件创建的时间 Ingestion Time: 数据进入Flink的时间 Processing Time: 执行...
-
azkaban安装注意点
一、配置azkaban-web-server配置文件 1. 记得指定executor.port，不然当executor重启时，会重新分配一个po...
-
Flink容错机制-Checkpoints和Savepoints
一、Checkpoints的算法原理 Checkpoints是flink自动存储快照 1. Barrier(checkpoint分割线) 二、S...
-
Flink SQL
SQL Client客户端 在开启SQL client客户端时需要指定sql_lib; 可以在conf/sql-client-defaults....
-
Clickhouse实践离线实践 主要业务：用户分析和敏捷BI数据导入：由外部事务保证的T+1离线数据 离线实践思路： 将数据根据业务逻辑使用Spark在Hive或HD...
-
Spark或Flink实时消费难点1、精确一次消费 1.1 定义 精确一次消费（Exact once）：指消息一定会被处理且只会被处理一次；不多不少就一次处理。 如果达不到精确一...
-
实时数仓-Canal介绍实时数仓中架构如下图： 实时架构主要数据来源有3块 日志文件（或设备上的心跳数据），由Flume或者Springboot程序直接写到kafka中...
-
实时数仓-Maxwell
一、Maxwell maxwell是有美国zendesk开源，用Java编写的Mysql实时抓取软件；其抓取的原理也是基于binlog 二、Ma...
-
Clickhouse的特点
Clickhouse的特点 一，列式存储 IdNameAge1张三182李四223王五34 采用行式存储时，数据在磁盘上的组织结构为： 1张三1...