Spark的Driver本身就是Scheduler，完整的类名叫做CoarseGrainedSchedulerBackend，为什么叫Coars...
投稿
收录了152篇文章 · 679人关注
-
Coarse Grained究竟是什么意思？
-
Spark task的输入太大如何分割？上周调优一个job 的时候发现一个join 意外的耗时间，如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, s...
-
Spark RDD核心知识
一、Spark包括什么 spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Strea...
-
Spark withColumn 陷阱
withColumn / withColumnRenamed 是 spark 中常用的 API，可以用于添加新字段 / 字段重命名 / 修改字...
-
GeoSpark---Polygon查询
环境idea-2020.1 + gradle-4.9 + scala-2.11 代码如下： polygon.csv 数据集 输出结果如下：
-
Delta Presto Integration & Manifests 机制
Delta 0.5 已于上周发布，增加了不少新特性，这篇文章主要讲解其 Presto Integration 和 Manifests 机制。该功...
-
Delta Lake 平台化实践（离线篇)
Delta Lake 是什么？简单的说就是为大数据场景添加了事务功能，并且支持了 update/delete/merge into 等功能， D...
-
Spark Streaming限流反压机制源码剖析本文基于spark streaming通过direct mode访问kafka的场景，从源码出发分析spark streaming如何实现数据读...
-
Spark on k8s: 调试Executor Pod的方法相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 Spark on k8s: 调试Driver Pod的方法...
-
Spark on k8s: OkHttp WebSocket 非daemon线程导致Driver线程无法退出问题描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相关测试，任务正常的话分如下图所示两个...
专题公告
如何高效利用spark解决问题的文章
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/242604/1457761215.jpg', '推荐专题《Spark 应用》（ 分享自 @简书 ）','https://www.jianshu.com/c/262d9b56b204?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}