240 发简信
  • 120
    Hbase笔记

    hbase是谷歌bigdata论文的一个代码实现,hbase是开源软件,在大数据处理领域应用广泛。今天楼主先来介绍一些基本原理,后面用工程代码方式来叙述API的用法。楼主是新...

  • 120
    hive学习笔记

    1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapRed...

  • 120
    namenode-HA

    Namenode在HDFS中是一个非常重要的组件,相当于hadoop集群系统的心脏,在显示分布式集群环境中,还是会有可能出现Namenode的崩溃或各种意外。所以,高可用模式...

  • 120
    Zookeeper的实现机制

    一、什么是Zookeeper Zookeeper是一个hadoop的分布式协调服务,它包含一个简单的源语集。分布式应用程序可以基于它市县同步服务,配置维护和命名服务。Zook...

  • 120
  • 120
    MR的shuffle机制

    Shuffle过程是MapReduce的核心,描述着数据从map task输出到reduce task输入的这段过程。 Hadoop的集群环境,大部分的map task和re...

  • 120
    MapReduce提交job处理过程及yarn框架机制

    处理过程: 1.mp程序产生RunJar进程向resource manager申请执行一个job 2.resource manager返回job相关资源提交的路径stagin...

  • 120
    hadoop中MapReduce工作机制

    在MapReduce整个过程可以概括为以下过程: 输入 --> map --> shuffle --> reduce -->输出 输入文件会被切分成多个块,每一块都有一个ma...

  • 120
    NameNode和SecondaryNameNode工作机制

    一. HDFS存储过程: 1.客户端需要存储一份文件(客户端进行切分),需要查询NN中的元数据。若文件以及存在则拒绝存储。 2.NN返回为客户端的上传申请分配对应的DN存储地...

  • 120
    HDFS的实现机制

    HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode,这是一个 Master Server,用来管理文件系...

  • js数据相关简单的问题与理解

    Q:js数据类型?A:原始类型:number、string、boolean、特殊类型(null&undefined) 对象类型:array、function&object Q...

  • js数据相关简单的问题与理解

    Q:js数据类型?A:原始类型:number、string、boolean、特殊类型(null&undefined) 对象类型:array、function&object Q...

  • 70个Python练手项目列表(都有完整教程)

    前言: 不管学习那门语言都希望能做出实际的东西来,这个实际的东西当然就是项目啦,不用多说大家都知道学编程语言一定要做项目才行。 这里整理了70个Python实战项目列表,都有...

  • 120
    Hadoop 面试,有它就够了

    Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架,可安装在一个商用机器集群中,使机器可彼此通信并协同工作,以高度分布式的方式共同存储和...

  • 120
    Chrome吃内存的能力可不是说着玩的!

    坏新闻总比没新闻要好!前段时间, 经过一波朋友圈的疯狂转发,大家都在讨论"红芯浏览器", 不管是不是套路, 反正是出名了...最后的结论就是, 抄了Chrome,而且水平不咋...

  • 120
    GitHub基本使用介绍

    之前公司项目一直在使用SVN作为项目代码版本控制,最近我想整理下项目中iOS端CC视频SDK封装,CC移动端SDK本身只提供视频播放信息以及播放器初始化,因此需要自定义播放器...