6篇文章 · 1812字 · 2人关注
-
网络原因导致 spark task 卡住
主机名映射出错 背景： Yarn集群新加入了一批Spark机器后发现运行Spark任务时，一些task会无限卡住且driver端没有任何提示。 ...
-
Spark报错 driver did not authorize commit
启动Spark Speculative后，有时候运行任务会发现如下提示： 启动 Speculative 后，运行较慢的task会在其他execu...
-
Mesos shuffle service unusable in Spark1.6
报错提示: spark1.6之中，mesos粗粒度模式下为了使用动态 executor 机制，开启了MesosExternalShuffleSe...
-
Spark Shuffle FetchFailedException解决方案
在大规模数据处理中，这是个比较常见的错误。 报错提示 SparkSQL shuffle操作带来的报错 RDD的shuffle操作带来的报错 原因...
-
Spark报错 driver did not authorize commit
启动Spark Speculative后，有时候运行任务会发现如下提示： 启动 Speculative 后，运行较慢的task会在其他execu...
-
Spark将大量分区写入HDFS报错
对大量的数据进行一系列的数据处理后DataFrame此时有2W个分区（170W条数据，因此每个分区数量只有几百条），此时使用parquet命令，...
文集作者