240 发简信
IP属地:广东
  • 从源码角度分析MapReduce运作_三.Reduce阶段

    一.目录 本系列文章对Hadoop知识进行复盘。分为四个阶段,Copy阶段,Merge阶段,Sort阶段,Reduce阶段。如下为ReduceT...

  • 从源码角度分析MapReduce运作_二.Map阶段

    一.目录 本系列文章对Hadoop知识进行复盘。分为五个阶段,Read阶段,Map阶段,Collect阶段,溢写阶段,Combine阶段。如下为...

  • 从源码角度分析MapReduce运作_一.准备阶段

    一.目录 本系列文章对Hadoop知识进行复盘。分为两个阶段,建立连接阶段,提交job阶段。 二.建立连接 客户端提交MR程序后,首先是运行jo...

  • Java中接口与抽象类的区别

    抽象类:如果一个类含有抽象方法,则称这个类为抽象类,抽象类必须在类前用abstract关键字修饰。由于抽象方法只有声明而没有具体的实现,所以不能...

  • 简述paxos算法

    paxos算法是一种基于消息传递的且具有高度容错性的一种算法,解决的问题是一个分布式系统如何就某个值达成一致。该算法的前提是假设不存在拜占庭将军...

  • zookeeper底层实现数据一致性

    主要通过事务日志以及数据快照来实现。事务日志:记录了对zookeeper的操作,以axid命名,可以快速的定位到查询的事务。同时采用磁盘预分配策...

  • 叙述zookeeper中的ACL

    zookeeper中的ACL由三部分组成:权限模式、授权对象、权限权限模式:IP digest world super

  • 叙述ZAB集群数据同步的过程

    zookeeper中的事务都是由一个全局唯一的ID称为zxid,zxid由两部分组成:一部分为leader周期epoch,一部分为递增计数器。从...

  • 叙述你所知道的分布式一致性协议

    2pc,3pc,paxos,zab在分布式应用中,每个节点都知道自己的事务提交的结果是成功或者失败,但是无法直接获取其他分布式节点的结果。因此需...