35篇文章 · 39736字 · 39人关注
-
Spark的位置优先: TaskSetManager 的有效 Locality Levelsbased on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages t...
-
Databricks Delta Lake 了解下？Delta Lake is an open-source storage layer that brings ACID transactions...
-
Spark 内存管理的前世今生（上）欢迎关注我的微信公众号：FunnyBigData 作为打着 “内存计算” 旗号出道的 Spark，内存管理是其非常重要的模块。作为使用者，搞清楚...
-
Spark Storage ① - Spark Storage 模块整体架构本文为 Spark 2.0 源码分析笔记，某些实现可能与其他版本有所出入 Storage 模块在整个 Spark 中扮演着重要的角色，管理着 S...
-
[源码剖析]Spark读取配置Spark读取配置 我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式： spark-submit...
-
Spark 内存管理的前世今生（下）欢迎关注我的微信公众号：FunnyBigData 在《Spark 内存管理的前世今生（上）》中，我们介绍了 UnifiedMemoryManag...
-
[Spark源码剖析]Spark 延迟调度策略
本文旨在说明 Spark 的延迟调度及其是如何工作的 什么是延迟调度 在 Spark 中，若 task 与其输入数据在同一个 jvm 中，我们称...
-
Spark Storage ④ - 存储执行类介绍（DiskBlockManager、DiskStore、MemoryStore）
本文为 Spark 2.0 源码分析笔记，某些实现可能与其他版本有所出入 这篇文章前半部分我们对直接在 Block 存取发挥重要作用的类进行介绍...
-
举例说明Spark RDD的分区、依赖
例子如下: 从输出我们可以看出，对于任意一个RDD x来说，其dependencies代表了其直接依赖的RDDs（一个或多个）。那depende...
文集作者