240 发简信
IP属地:辽宁
  • Resize,w 360,h 240
    zookeeper的安装与集群

    zookeeper简介Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务...

  • Resize,w 360,h 240
    HDFS之namenode管理元数据机制及一些问题

    一、NameNode启动时如何维护元数据: 1、概念介绍:Edits文件:NameNode在本地操作hdfs系统的文件都会保存在Edits日志文...

  • spark-streaming windows netcat

    问题描述 SparkStreaming的WordCount Centos下安装nc命令工具 netcat(nc)是一个简单而有用的工具,被誉为网...

  • Scala-元组、集合

    1、元祖映射是K/V对偶的集合,对偶是元组的最简单形式,元组可以装着多个不同类型的值。1)、创建元祖 2)、获取元祖的值 3)、将对偶集合转换成...

  • Resize,w 360,h 240
    MapReduce优化之Combiner

    Combiner是什么?为什么会出现Combiner? Combiner是一个本地化的reduce操作,它是map运算的后续操作,主要是在map...

  • 二种方法实现Spark计算WordCount

    1.spark-shell 2.Scala for idea 最后,需要使用spark submit提交到spark集群中进行运行,执行脚本如下...

  • javaapi 访问 hbase

    Hbase介绍HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化...

  • Spark常用Actions算子

    介绍以下Actions算子:foreachforeachPatitionreducecollectcountfirsttaketakeSampl...

  • 使用java api操作zookeeper

    ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 zk客户端命令 ZooKe...