240 发简信
  • 120
    一个基于flinkSql 的实时计算平台

    一、可行性分析 Flink是一款分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时地处理一些实时...

    2.2 1606 5 16
  • 十二、HBase运维

    1、HBase监控指标 1.1、指标收集:http://master_ip:port/jmx;http://regionserver_ip:po...

  • 三、HBase依赖服务

    1、zookeeper在HBase中的分布式锁具体实现步骤如下 1)客户端调用create()方法创建名为‘locknode/lock-'的节点...

  • 四、HBase客户端

    1、通过Configuration初始化集群Connection 1.1、Connction维持了客户端到整个HBase集群的链接,如一个HBa...

  • 五、RegionServer的核心模块

    1、RegionServer内部结构 1.1、一个或多个HLog 1.2、一个BlockCache 1.3、多个Region 1.3.1、列簇个...

  • 六、HBase读取流程

    1、HBase读取流程 流程分四步: 1.1、Client-Server读取交互逻辑 1.1.1、Client从ZK获取元素据所在的RS,然后查...

  • 六、HBase写入流程

    1、HBase写入流程 HBase服务端没有提供update,delete接口,HBase中对数据的更新、删除操作都认为是写入操作,更新操作会写...

  • 七、Compaction实现

    1、Compaction核心作用 1.1、合并小文件,减少文件数,稳定随机读写延迟 1.2、提高数据的本地化率 1.3、清除无效数据,减少数据存...

  • 八、负载均衡实现

    1、Region迁移 1.1、HBase中,分片迁移就是Region迁移。和其他很多分布式系统不同,HBase中Region迁移时一个非常轻量级...