240 发简信
IP属地:江苏
  • Resize,w 360,h 240
    Yarn调度队列

    1 概述 在Yarn中,负责给应用分配资源的是Scheduler,并提供了多种调度器和可配置的策略供选择。在Yarn中有是三种调度器可以选择:F...

  • Resize,w 360,h 240
    Yarn资源隔离

    1 概述 1.1 基本概念 ** A.ResourceManager ** ResourceManager 是一个全局的资源管理器,负责整个集群...

  • CAS和AQS

    1 CAS 什么是CAS? 如在多线程中实现自增,会出现线程安全问题,要解决这个问题,需要通过加锁的方式,调整如下: 这类似于悲观锁的实现,我需...

  • Resize,w 360,h 240
    Lucene底层原理

    1 索引原理 全文索引由来已久,绝大多数都基于倒排索引来做,顾名思义,它与常规的一篇文章包含哪些词相反,它是一个词记录到那些文档中,由两部分组成...

  • Resize,w 360,h 240
    Hbase BlockCache

    1 LRU Cache LRUBlockCache是目前hbase默认的BlockCache机制,实现机制也比较简单,是使用一个Concurre...

  • Resize,w 360,h 240
    Kafka源码分析

    1 消息处理入口 以下是Kafka消息处理的入口,即客户端发送到服务端消息处理方法。 2 内存中offset信息来源 从上面代码中可以看出,拉取...

  • Java中的Future

    1 概述 Future代表异步计算返回的结果,提供了检查是否结束、等待结束以及获取计算结果的方法。Executor框架使用Runnable作为其...

  • Join优化

    概述 跟传统的关系型数据库类似,分布式环境中的join在提供优化器“hint”(提示)以告诉优化器选择一些执行策略。目前一些优化提示主要针对批处...

  • Resize,w 360,h 240
    Netty内存模型-PoolArena

    1 原理 应用层的内存分配最终是委托给PoolArena实现。先看下PoolArena的内部数据结构: poolArena提供了两种方式进行内存...

个人介绍
持续更新大数据相关知识点,关注Hadoop、Spark、Flink等技术