目录 前言 内存池MemoryPool 存储内存池StorageMemoryPool构造与属性成员申请内存释放内存 内存管理器MemoryMan...
目录 前言 内存池MemoryPool 存储内存池StorageMemoryPool构造与属性成员申请内存释放内存 内存管理器MemoryMan...
目录 前言 RPC端点及其引用RpcEndpointRpcEndpoint继承体系RpcEndpointRef NettyRpcEnv概况创建N...
目录 前言 RPC底层概览 传输配置TransportConf 传输上下文TransportContext成员属性与构造方法创建传输客户端工厂T...
目录 前言 HeartbeatReceiver类声明和构造部分成员属性的含义 HeartbeatReceiver提供的方法启动监听Executo...
目录 前言 Spark事件总线概述 ListenerBus特征addListener()与removeListener()方法doPostEve...
Tungsten简介 tungsten-sort这个名字作为一种排序方法,听起来有点怪异。下面简单介绍一下Tungsten。 Project T...
目录 前言 RDD类中的检查点方法 检查点数据的包装RDDCheckpointDataReliableRDDCheckpointData 检查点...
shuffle write入口 先回忆一下基础知识: Spark作业执行的单元从高到低为job→stage→task stage分为Shuffl...
目录 前言 RDD依赖Dependency抽象类及子类窄依赖宽依赖 RDD分区器Partitioner抽象类与伴生对象HashPartition...
目录 前言 统一内存管理器UnifiedMemoryManager构造方法计算内存量统一内存管理布局图示申请/借用存储内存申请/借用执行内存 总...