240 发简信
IP属地:广东
  • Resize,w 360,h 240
    FLINK CDC 源码 & 时序图 一

    FLINK CDC 源码时序文件在 https://www.processon.com/view/623d93751efad40756c5ab8...

  • Resize,w 360,h 240
    spark 数据倾斜总结

    一、数据倾斜概念 1.1、是指shuffle过程中,必须将各个节点上相同key拉取到某个节点上的一个task来进行处理,此时如果某个key...

    0.4 4485 1 22
  • Resize,w 360,h 240
    一个基于flinkSql 的实时计算平台

    一、可行性分析 Flink是一款分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时地处理一些实时...

  • Resize,w 360,h 240
    spark 4种 shuffle机制与mapreduce shuffle机制对比

    纵观整个mapreduce过程会发现存在许多的排序和文件合并操作。 为什么要排序,主要原因有: 1、key的存在combiner操作,排序之后相...

    0.2 3711 0 11
  • Resize,w 360,h 240
    flink与kafka结合

    1、概述 flink提供了一个特有的kafka connector去读写kafka topic的数据。flink消费kafka数据,并不是完全通...

  • Resize,w 360,h 240
    Flink 嵌套json 解析成Table

    背景 JSON作为常用的数据格式,在消息中间件中用json做为消息格式也很常见。在flink table中消息可以理解为表的一行记录。所以对于一...

    0.2 8058 5 5 1
  • Resize,w 360,h 240
    flink sql upsert kafka 源码解读 你就是一只披着狼皮的羊

    利弊 在 flink 1.12 社区推出了 upsert kafka,他与普通 kafka source connect 的最大区别就是引入了...

  • flink tableSource tableSink 基础知识

    一、table source 1、TableSource源码 trait TableSource[T] { //TableSource 是一个接...

  • Resize,w 360,h 240
    flink shuffer partition

    flink dataStream API 的shuffle方式有 1、均匀分区(随机分区)stream.shuffle 2、负载均衡分区(轮询分...