240 发简信
  • 那一刻,我差点精神出轨了

    他是我高中同学。不善交际和不喜交际让我基本上没有交上什么朋友,在班里普通空气一般地存在。 他是少数我能说上话的人,他对我并不是很热情,像普通同学一样的淡漠。但我偶尔会同他开玩...

  • 240
    人到中年不能闲

    放假了,好像家务活也不是太多,女儿一天到晚关在房间里也不让我管,所以这一个月我都过得蹉跎,仿佛学习强国就是每天第一重要的事了。 今天下午睡了一觉,醒来无事...

  • MapReduce之InputFormat数据输入

    1.Job提交流程和切片源码详解 (1).job提交流程源码详解 (2).FileInputFormat源码解析(input.getSplits(job))(这里留一个坑) ...

  • 240
    MapReduce之ReduceTask工作机制

    1.设置ReduceTask并行度(个数) reducetask的并行度同样影响整个job的执行并发度和执行效率,但与maptask的并发数由切片数决定不同,Reduceta...

  • 240
    MapReduce工作流程

    1.流程示意图: 2.流程详解 上面的流程是整个mapreduce最全工作流程,但是shuffle过程只是从第7步开始到第16步结束,具体shuffle过程详解,如下: (1...

  • Error: listen EADDRINUSE: address already in use :::4000

    1.错误信息: 2.问题描述: 在hexo博客本地启动的时候,之前启动过,所以4000端口被占用 3.解决方法: 在控制台输入 查看被占用进程的pid, 再输入 即可杀死进程

  • 240
    MapReduce基础介绍

    一.MapReduce 1. MapReduce定义 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapredu...

  • Hadoop序列化

    1.为什么要序列化? 一般来说,“活的”对象只生存在内存里,关机断电就没有了。而且“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 然而序列化可以存储“...

  • 240
    MapReduce之MapTask工作机制

    1.并行度决定机制 (1).问题引出 maptask的并行度决定map阶段的任务处理并发度,进而影响到整个job的处理速度。那么,mapTask并行任务是否越多越好呢? (2...

个人介绍
Java大数据,欢迎一起探讨学习