240 发简信
  • Mac安装Redis

    1.查询可安装的版本 2.安装redis 3.卸载redis 4.启动redis服务 5.关闭redis服务 6.重启redis服务 7.通过bin目录启动 8.配置开机启动...

  • CentOS7 安装NodeJS-使用二进制文件安装

    1.下载安装包 下载地址[https://nodejs.org/en/download/] 2.解压文件 3.创建软连接 4.查看版本

  • 120
    CentOS7 安装Maven

    1.下载Maven安装包 Maven下载地址[https://maven.apache.org/download.cgi] 2.解压 3.改名 4.配置环境变量 修改内容 使...

  • 那一刻,我差点精神出轨了

    他是我高中同学。不善交际和不喜交际让我基本上没有交上什么朋友,在班里普通空气一般地存在。 他是少数我能说上话的人,他对我并不是很热情,像普通同学一样的淡漠。但我偶尔会同他开玩...

  • ffmpeg合并视频

    1.方法一:FFmpeg concat协议 2.方法二:FFmpeg concat分离器 新建文件file.txt 然后

  • ffmpeg参数

    1.通用选项 2.视频选项 3.高级视频选项 4.音频选项 5.音频/视频捕获选项 6.高级选项 15.压缩视频

  • ffmpeg常用命令

    一.基础概念 1.FFmpeg 的命令行参数非常多,可以分成五个部分。 上面命令中,五个部分的参数依次如下: 2.参数太多的时候,为了便于查看,ffmpeg 命令可以写成多行...

  • 120
    人到中年不能闲

    放假了,好像家务活也不是太多,女儿一天到晚关在房间里也不让我管,所以这一个月我都过得蹉跎,仿佛学习强国就是每天第一重要的事了。 今天下午睡了一觉,醒来无事...

  • 120
    Spark面试知识点

    一.Spark架构 1.Spark架构中的组件 2.spark架构揭示了spark的具体流程如下: 二.RDD 1.Spark弹性数据集RDD有两种创建方式: 2.RDD的两...

  • Hadoop面试知识点

    一.Hadoop 1.Hadoop 主要有以下几个优点 二.HDFS 1.HDFS架构 2.Block 3.HDFS的特点 (1)优点 (2)劣势 4.HDFS的读写数据流程...

  • MapReduce开发总结

    在编写mapreduce程序时,需要考虑的几个方面: 1.输入数据接口:InputFormat 默认使用的实现类是:TextInputFormatTextInputForma...

  • MapRedude之Join,数据清洗,计数器应用

    一. Join多种应用 1.Reduce join (1).原理: Map端的主要工作:为来自不同表(文件)的key/value对打标签以区别不同来源的记录。然后用连接字段作...

  • MapReduce之OutputFormat数据输出

    1.OutputFormat接口实现类 OutputFormat是MapReduce输出的基类,所有实现MapReduce输出都实现了 OutputFormat接口。下面我们...

  • 120
    MapReduce之ReduceTask工作机制

    1.设置ReduceTask并行度(个数) reducetask的并行度同样影响整个job的执行并发度和执行效率,但与maptask的并发数由切片数决定不同,Reduceta...

  • 120
    MapReduce之Shuffle机制

    1. Shuffle机制 Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程(即将map输出作为输入传给reducer)称为shuffle。 2...

  • 120
    MapReduce之MapTask工作机制

    1.并行度决定机制 (1).问题引出 maptask的并行度决定map阶段的任务处理并发度,进而影响到整个job的处理速度。那么,mapTask并行任务是否越多越好呢? (2...

  • MapReduce之InputFormat数据输入

    1.Job提交流程和切片源码详解 (1).job提交流程源码详解 (2).FileInputFormat源码解析(input.getSplits(job))(这里留一个坑) ...

  • 120
    MapReduce工作流程

    1.流程示意图: 2.流程详解 上面的流程是整个mapreduce最全工作流程,但是shuffle过程只是从第7步开始到第16步结束,具体shuffle过程详解,如下: (1...

个人介绍
Java大数据,欢迎一起探讨学习