发简信
-
SparkSteaming运行流程分析以及CheckPoint操作
本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作 注：下面源码只贴出...
-
【翻译】Spark Streaming 管理 Kafka Offsets 的方式探讨Cloudera Engineering Blog 翻译：Offset Management For Apache Kafka With Apa...
-
HashSet和CopyOnWriteArraySet
前言 这篇文章的目的如下： HashSet是如何保证元素的不重复和无序 HashSet的增删（改查？）原理 CopyOnWriteArraySe...
-
ArrayList和CopyOnWriteArrayList
这篇文章的目的如下： 了解一下ArrayList和CopyOnWriteArrayList的增删改查实现原理 看看为什么说ArrayList查询...
-
Spark Streaming 调优指南Spark Streaming是架构在Spark Core上的一个“应用”，SparkStreaming主要由DStreamGraph、Job的...
-
Spark Core 调优指南1 体系 2 配置 资源分配num-executors：executor的个数executor-cores：cpu core 的两倍execut...
-
【面试】HBase面试题
以下大部分题目是从网上搜索得来，答案是笔者给的，若有错误，烦请指出，谢谢。 1 每天百亿数据存入HBase，如何保证数据的存储正确和在规定的时间...
-
【Spark源码】Spark-Context创建流程源码
应用程序开始执行时的步骤一般都是先创建SparkConf，再创建SparkContext 1 SparkContext创建的主要内容 创建Spa...
-
【Spark实战】Spark操作HBase问题：java.io.IOException: Non-increasing Bloom keys
1 问题描述 在使用Spark BulkLoad数据到HBase时遇到以下问题： 那么是在什么时候出现的呢？在运行完下面语句 从报错信息来看是因...
