IP属地：山西
-
Mac 操作系统 fatal error: 'openssl/ssl.h' file not found
由于 Mac 操作系统提供 LibreSSL 而非 openssl，故遇到编译问题需要自行安装和激活 openssl 安装 openssl 依赖...
-
Spark支持的java.time.Instant最大(小)值是多少？
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相关的内部计算和用...
-
ScalaReflection调用localTypeOf抛出NullPointerException问题记录
目前怀疑是scala bug所致，https://github.com/scala/bug/issues/10766Spark在注册用户的UDF...
-
数据本地性对 Spark 生产作业容错能力的负面影响数据本地性是 Spark 等计算引擎从计算性能方面去考量的一个重要指标，对于某个数据分片的运算，Spark 在调度侧会做数据本地性的预测，然后尽...
-
记一次Spark Yarn Shuffle Service升级引发的血案前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都...
-
Spark on k8s: failed to create container for [kubepods burstable...no space left on device问题描述 测试了若干天的Spark on k8s, 今天突然就无法初始化 Spark Driver Pod 了。表现如下， 客户端侧以clust...
-
Spark on k8s: 通过hostPath设置SPARK_LOCAL_DIRS加速Shuffle前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle阶段临时文件及RDD持久化存储等，可以...
-
Spark on k8s: OkHttp WebSocket 非daemon线程导致Driver线程无法退出问题描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相关测试，任务正常的话分如下图所示两个...
-
Spark on k8s: 调试Executor Pod的方法相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 Spark on k8s: 调试Driver Pod的方法...
个人介绍