240 发简信
  • 120
    MR的shuffle机制

    Shuffle过程是MapReduce的核心,描述着数据从map task输出到reduce task输入的这段过程。 Hadoop的集群环境,...

  • 120
    大数据计算?hadoop了解一下!

    首先,大数据是什么? 咱们先来看看百度百科的定义 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据...

    0.1 280 1 5 1
  • 120
    NameNode和SecondaryNameNode工作机制

    一. HDFS存储过程: 1.客户端需要存储一份文件(客户端进行切分),需要查询NN中的元数据。若文件以及存在则拒绝存储。 2.NN返回为客户端...

    0.2 80 0 4 1
  • 120
    HDFS的实现机制

    HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode,这是一个 Master...

    0.1 68 0 2
  • 120
    MapReduce提交job处理过程及yarn框架机制

    处理过程: 1.mp程序产生RunJar进程向resource manager申请执行一个job 2.resource manager返回job...

    0.2 42 0 1
  • 120
    hadoop中MapReduce工作机制

    在MapReduce整个过程可以概括为以下过程: 输入 --> map --> shuffle --> reduce -->输出 输入文件会被切...

    0.2 47 0 1
  • 120
    Hbase笔记

    hbase是谷歌bigdata论文的一个代码实现,hbase是开源软件,在大数据处理领域应用广泛。今天楼主先来介绍一些基本原理,后面用工程代码方...

  • 120
    hive学习笔记

    1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以...

  • 120
    namenode-HA

    Namenode在HDFS中是一个非常重要的组件,相当于hadoop集群系统的心脏,在显示分布式集群环境中,还是会有可能出现Namenode的崩...