• 创建Future时加synchronized关键字

    本文想探讨的问题有两个: 如果我们在synchronized代码块中创建一个Future会发生什么? 如果我们在创建Future的代码块中加sy...

  • Spark之abort stage

    NOTE:本文要求读者对spark的运行原理有基本的了解。 需要明确的一点是,abort不同于fail。如果一个stage fail了,那么它还...

  • 120
    Spark在提交多个作业时Stage划分的小思考

    本文要求读者了解DAGScheduler如何划分一个作业的stages。本文主要内容是作者个人关于spark在提交多个作业时,stage划分的一...

  • Spark UnifiedMemoryManager之maybeGrowExecutionPool()分析

    Note:本文要求读者对UnifiedMemoryManager的原理有基本的了解。希望读者能与作者一起探讨。 本文试图分析UnifiedMem...

  • Spark编译(使用阿里云maven仓库)

    我以近十天的编译Spark的痛苦经历,来分享一下如何在国内快速的完成Spark编译。 其实,唯一的任务就是将Spark中的默认maven中央仓库...

  • idea调试spark断点设置无效的问题

    今天调试spark(read分支),设置断点,debug运行,就是不能在断点的地方停止运行。但是,我能非常肯定,代码是会执行到这里的。 另外,在...

  • 拖延症晚期。。。

    今天我才意识到,我的身上发生了重大问题。我已经患上了严重的拖延症!!! 我一直以为自己的有分寸和把握,到最后都成为了把我推向要死的边缘! 十一回...

  • 论解决问题的姿势

    1分钟能解决的问题,花30分钟解决。 学会打印错误...... 还要学会debug......

  • 牢记!!!

    拒绝拖延 主动沟通!!!