240 发简信
  • 120
    Java集合源码分析之基础(六):红黑树(RB Tree)

    红黑树和AVL树的思想是类似的,都是在插入过程中对二叉排序树进行调整,从而提升性能,它的增删改查均可以在O(lg n)内完成。 本文会从定义到实现一棵红黑树展开,还会简单介绍...

  • 聊聊flink的HistoryServer

    序 本文主要研究一下flink的HistoryServer HistoryServer flink-1.7.2/flink-runtime-web/src/main/java...

  • 120
    Flink on yarn部署模式

    Flink on yarn部署模式 背景 Flink是一个高性能,高吞吐,低延迟的流处理框架。它不仅仅是作为一个流式处理框架,更将批处理统一了起来(在Flink中,批处理是流...

  • 机器学习算法——决策树5(CART)

    三种算法比较 ID3:采用信息增益作为选择特征的标准,越大越好C4.5:采用信息增益率作为选择特征的标准,越大越好CART: 回归:平方误差函数,越小越好 分类:基尼系数,越...

  • 谈谈流计算中的『Exactly Once』特性

    作者:周凯波(花名:宝牛) 本文翻译自 streaml.io 网站上的一篇博文:“Exactly once is NOT exactly the same” ,分析了流计算系...

  • 120
    Spark和Flink的Back Pressure机制

    为什么引入Backpressure 流处理系统需要能优雅地处理反压(backpressure)问题。反压通常产生于这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数...

  • flink算子

    flink中提供的大量的算子,下面将介绍常用的算子操作方式: mapDataStream --> DataStream:输入一个参数产生一个参数,map的功能是对输入的参数进...

  • 120
    昨天面试别人说他熟悉Flink,结果我问了他Flink是如何实现exactly-once语义的?

    Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理. 什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(...

  • 120
    Flink实时计算-深入理解Checkpoint和Savepoint

    我是LakeShen,专注大数据技术分享,程序员经验分享,互联网科技分享。如果我的文章对你有帮助,希望你能点赞或者关注我,你的鼓励,就是我前进的最大动力。关注就完事了。 前言...

  • 120
    10分钟了解大数据计算引擎 Flink 流处理的核心组件

    作者:邱从贤(山智) 1. Window & Time 介绍 Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink ...

  • 120
    Flink CookBook—流式计算介绍

    在大数据时代,流式计算越来越发挥着巨大的商业价值:业务分析人员能够更及时洞察数据,辅助做出更有效的决策;在万物互联场景中,对海量无限数据集的处理成了常态化,使用流式系统更能满...

  • Flink 状态

    state创建 state清理 (TTL/clear) state存储 (分布式) state的恢复 flink中对状态的分类有以下2种: Keyed State (跟key...

  • sparkStreaming2.2.1+spark-streaming-kafka-0-8_2.10

    现象一: 当zk连接数特别大的时候,topic的partition不断做重新选举leader或者broker与zk连接超时,kafka0.8版本的消费如果将offset放到z...