240 发简信
IP属地:天津
  • Resize,w 360,h 240
    算法系列-动态规划(1):初识动态规划

    昨天,罗拉去面试回来,垂头丧气。显然是面试不顺利,我赶忙过去安慰。 经过询问才知道,罗拉面试挂在了动态规划。 说到动态规划,八哥可就来精神了,于...

  • Resize,w 360,h 240
    hbase-spark bulk load(二)

    概述 之前写过spark批量导入Hbase的案例:Spark、BulkLoad Hbase、单列、多列,实现了多列的操作。整个过程涉及到排序、分...

  • Spark:DataFrame写HFile (Hbase)一个列族、一个列扩展一个列族、多个列

    扩展:Spark:DataFrame生成HFile 批量导入Hbase在上一篇博文中遗留了一个问题,就是只能处理DataFrame 的一行一列,...

  • Resize,w 360,h 240
    flink 自定义触发器 定时或达到数量触发

    flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。如果默认触...

  • Spark:DataFrame生成HFile 批量导入Hbase

    批量加载-Bulk Load 在工作过程中有个需求,需要将DataFrame的数据保存进Hbase,并且在Spark集群并没有安装Hbase,此...

  • Resize,w 360,h 240
    flink自定义窗口分配器 周、月

    关于分配器介绍内容来自官网 窗口分配的概念 窗口分配程序(Window Assigners)定义如何将元素分配给窗口。通过window(...)...

  • Flink 1.9 FlinkKafkaProducer 使用 EXACTLY_ONCE 错误记录

    使用flink FlinkKafkaProducer 往kafka写入数据的时候要求使用EXACTLY_ONCE语义本以为本以为按照官网写一个就...

  • flink idea运行错误记录

    最近学习flink的时候写了最简单的一个demo,但是在测试的时候出现问题:org.apache.flink.util.FlinkExcepti...

  • Resize,w 360,h 240
    Spark 调优之数据倾斜

    什么是数据倾斜? Spark 的计算抽象如下 数据倾斜指的是:并行处理的数据集中,某一部分(如 Spark 或 Kafka 的一个 Partit...