过年了,我们每个人都会回家过年,说到过年就不得不提抢票,毕竟过年回家的票都是一票难求,而以前都是靠购买加速包来提速抢票,前几天在公众号看到git...
目录一.Spark SQL基础1.Spark SQL简介2.Spark SQL的特点:3.基本概念:表:Datasets和DataFrames4...
1.近实时 近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概1秒);基于es执行搜索和分析可以达到秒级。 2 Cluster(集...
1.1 概述: Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Hadoop和Hbase的重要组件。它是一个...
目录1.1、高可用1.2、Hadoop的通用性优化1.3、Linux优化1.4、Zookeeper优化1.5、HBase优化1.5.1、预分区1...
目录一.Spark Streaming接收Flume数据1.基于Flume的Push模式2.基于Custom Sink的Pull模式二.Spar...
目录请列出hadoop的进程名称HDFS读写数据的过程1.简单概述hdfs原理,以及各个模块的职责2.mr的工作原理yarn流程3.fsimag...
一.问题描述:windows本地调试Hadoop程序时报错错误信息: 其原因是需要在windows本地搭建Hadoop环境,下载winutils...
目录一 概述1.1 为什么需要工作流调度系统1.2 Azkaban的适用场景1.3 什么是azkaban1.4 Azkaban特点1.5 常见工...