240 发简信
IP属地:河南
  • Resize,w 360,h 240
    spark-submit全流程解析(一)

    下面从一个spark任务脚本开始我们的解析吧。 如上图,大家一定都不陌生吧,我们提交任务时一般会写一个shell脚本,这个就是一个很常见的脚本内...

  • Resize,w 360,h 240
    从spark日志里发现问题

    在使用spark过程中,我们经常会遇到某个stage中某个task停留很长时间不结束,与其苦苦等待,不如去看看到底发生了什么?那么请点开相关的日...

  • Resize,w 360,h 240
    你真的了解spark资源自动分配吗

    调转链接spark资源自动分配 首先请看下下面这个图,看过spark ui的同学对这个一定很清楚,那么图中标识的X、Y你了解吗,具体指的是什么?...