240 发简信
IP属地:广东
  • Resize,w 360,h 240
    azkaban工作流调度

    一个完整的数据分析系统通常由大量的任务单元组成:shell脚本程序,java程序,mapreduce程序,hive脚本等。各任务单元之间存在时间...

  • linux增加swap分区空间

    在centos6.7中增加swap分区:

  • Resize,w 360,h 240
    flume数据采集

    简介 flume官网里面有user guide。作用:日志采集、聚合、传输核心组件:Agentagent内部组件:source,sink,cha...

  • hive级联累计

    根据访问次数统计表,得到累计访问总计 建表,load数据 求每个用户的月总金额 把表自己inner join 生成累计值 分组查询求月累计值。为...

  • Resize,w 360,h 240
    hadoop高可用(HA)机制

    hdfs工作机制 这里对于namenode和secondarynamenode。客户端文件过来先写入日志edits,再写入内存中的FsNames...

  • centos6.7minimal安装配置

    为了搭建一个hadoop集群,准备在vmware装上几台虚拟机。 centos6.7minimal安装和配置按照正常虚拟机安装顺序,选择mini...

  • Resize,w 360,h 240
    初识spark

    大数据及分析环境 bigdata主要体现在:量,速度,多样性数据量,数据流速度(实时,批量,串流),数据多样性(结构化,半结构化(弹性内容),非...

  • centos中将已有目录挂载到新添加的硬盘

    mbr,gpt分区的区别:MBR的意思是“主引导记录”,是IBM公司早年间提出的。它是存在于磁盘驱动器开始部分的一个特殊的启动扇区。这个扇区包含...

  • Resize,w 360,h 240
    socket,hadoop的rpc

    socket:在本地我们用PID来唯一标识一个进程。但是在网络中这样做难以实现。在TCP/IP协议簇中,网络层的ip地址可以唯一标识网络中的主机...