目录 前言 RPC底层概览 传输配置TransportConf 传输上下文TransportContext成员属性与构造方法创建传输客户端工厂T...
投稿
收录了38篇文章 · 129人关注
-
Spark Core源码精读计划 番外篇B-1：重回Spark RPC环境 -
Spark Core源码精读计划#31：BlockManager块写入流程目录 前言 块写入流程块写入的入口doPutIterator()方法doPut()方法 总结 前言 一个多月没顾上这个专题，惭愧惭愧。十一期间尽...
-
Spark Core源码精读计划#30：终于讲到的BlockManager及其管理的块读取流程
目录 前言 BlockManager的初始化构造方法与属性成员初始化方法块读写的入口 块读取流程从本地读取数据从远端读取数据 总结 前言 如题，...
-
Spark Core源码精读计划#29：BlockManager主从及RPC逻辑目录 前言 初始化BlockManagerMaster与RPC端点 主RPC端点BlockManagerMasterEndpoint构造方法与属...
-
Spark Core源码精读计划#28：磁盘存储DiskStore
目录 前言 磁盘存储DiskStore构造方法与属性成员写入块写入字节读取字节 磁盘块数据DiskBlockData转化为ChunkedByte...
-
Spark Core源码精读计划#27：磁盘块管理器DiskBlockManager目录 前言 磁盘块管理器DiskBlockManager构造方法与属性成员创建本地存储目录获取存储文件及创建子目录创建临时块文件绑定关闭钩子与关...
-
Spark Core源码精读计划#21：Spark存储中块（Block）的基本实现目录 前言 块ID：BlockId 块数据：BlockDataBlockData特征ByteBufferBlockDataChunkedByte...
-
Spark Core源码精读计划#26：内存存储MemoryStore的具体实现
目录 前言 MemoryEntry MemoryStore构造与属性成员直接写入字节写入迭代器化的数据读取字节与迭代器化的数据淘汰缓存块 总结 ...
-
Spark Core源码精读计划#25：UnifiedMemoryManager——统一内存管理机制目录 前言 统一内存管理器UnifiedMemoryManager构造方法计算内存量统一内存管理布局图示申请/借用存储内存申请/借用执行内存 总...
-
Spark Core源码精读计划#24：StaticMemoryManager——静态内存管理机制目录 前言 MemoryManager的初始化 静态内存管理器StaticMemoryManager构造方法计算堆内存储/执行内存总量内存申请方...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1733241/spark-logo-trademark.png', '推荐专题《Spark源码精读分析计划》（ 分享自 @简书 ）','https://www.jianshu.com/c/412176221a5f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}