240 发简信
IP属地:北京
  • 本地IDEA提交Flink/Spark任务到集群的工具

    Flink任务、Spark任务提交到集群,通常需要将可执行Jar上传到集群,手动执行任务提交指令,如果有配套的大数据平台则需要上传Jar,由调度...

    2.8 2722 1 13
  • Resize,w 360,h 240
    Flink CDC 2.0 批流融合技术原理分析

    8月份 FlinkCDC 发布2.0.0版本,相较于1.0版本,在全量读取阶段支持分布式读取、支持checkpoint,且在全量 + 增量读取的...

  • flink1.9 使用LookupableTableSource实现异步维表关联

    LookupableTableSource LookupableTableSource 是Flink新增的接口,支持通过一个表中的某几列进行数据...

  • Resize,w 360,h 240
    Flink SQL 扩展维表 Keyby 的三种实现方式

    背景 Flink LookupTableSource 通过使用流数据的一列或者多列的值,加载外部存储数据(维表数据),进而完成对流数据的字段扩展...

  • Resize,w 360,h 240
    Flink Streaming File Sink

    背景 Flink 支持将流数据以文件形式存储到外部系统,典型使用场景是将数据写入Hive表所在 HDFS存储路径,通过Hive 做查询分析。随着...

  • FlinkSQL 语法扩展

    FlinkSQL 语法扩展 参考flink-sql-parser模块了解下Flink如何扩展Calcite语法,创建空项目进行语法扩展。首先,拷...

  • Resize,w 360,h 240
    flink状态

    Flink从外部数据源持续接收数据,每接收一条数据就会触发相应的计算操作。当Flink对数据进行聚合操作时,不可能将所有流入的数据重新计算一次,...

  • Resize,w 360,h 240
    FlinkSQL生成StreamGraph

    Flink根据算子之间的依赖关系构建出Transformations并依次形成StreamGraph、JobGraph 、ExecutionGr...

  • Resize,w 360,h 240
    flink1.8 心跳服务

    心跳服务 Flink对各组件服务状态的监控统一使用心跳服务来管理,如同其他的服务一样,这一部分的代码也是解耦的,被多个地方重复使用。本次重点是学...