引言 分布式计算的基本思路是将数据分为多个部分，将同样的数据操作方式在数据的不同部分上执行，分别获得结果，然后通过“汇聚处理”的方式得到结果。如...
投稿
收录了485篇文章 · 1341人关注
-
Spark应用分片介绍
-
Structured Streaming 分析StructedStreaming 流程分析 导言 Spark在2.*版本后加入StructedStreaming模块，与流处理引擎Sparks...
-
Spark Streaming-Streaming Join 实现梳理
当前Spark Streaming-Streaming Join只支持： InnerJoin; LeftJoin; RightJoin; 整体思...
-
Spark的join什么情况下可以避免shuffle？Spark的join操作可能触发shuffle操作。shuffle操作要经过磁盘IO，网络传输，对性能影响比较大。本文聊一聊Spark的join...
-
Spark存储内存在哪些地方用到？漫谈Spark内存管理(一)有提到问题：“ Spark中用到内存的地方有哪些？存储内存主要消耗在哪些地方？执行内存主要消耗在哪些地方？”。本文就...
-
Spark 调优之数据倾斜什么是数据倾斜？ Spark 的计算抽象如下 数据倾斜指的是：并行处理的数据集中，某一部分（如 Spark 或 Kafka 的一个 Partit...
-
hbase-spark bulk load(二)概述 之前写过spark批量导入Hbase的案例：Spark、BulkLoad Hbase、单列、多列，实现了多列的操作。整个过程涉及到排序、分...
-
spark浅谈学习和使用一段时间的spark， 对spark的总结一下，希望对大家有用，不介绍怎么使用， 只从设计上谈谈。 spark解决了什么问题？ 说sp...
-
Spark Streaming限流反压机制源码剖析本文基于spark streaming通过direct mode访问kafka的场景，从源码出发分析spark streaming如何实现数据读...
-
Spark自建的逻辑内存管理器是怎么申请和释放内存的？在漫谈Spark内存管理(一)中，概述了Spark内存管理做的事情，并着重对unroll memory的概念做了解释及分析。本文继续讨论Spar...
专题公告
专注于spark相关内容分享，github相关资料整理：https://github.com/jacksu/utils4s
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/234681/spark.jpg', '推荐专题《spark》（ 分享自 @简书 ）','https://www.jianshu.com/c/6157554bfdd9?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}