240 发简信
  • HDFS Centralized Cache对MapReduce的影响

    在YARN源码解析(5)-MapReduce中,在数据本地节点分配Task是如何做到的?中,我们介绍了MapReduce如何在block所在的H...

  • 《黑天鹅-如何应对不可知的未来》书评

    这本书中,主要介绍了黑天鹅事件的产生,以及它的原理. 其实黑天鹅事件,并不是每件会改变历史进程的大事,才叫黑天鹅事件.而是,每件我们个人没有预测...

  • 《如何阅读一本书》书评

    今日在家无聊,翻了一遍《如何阅读一本书》. 这本书早就购来了,但是一直没有动过.最近从某个博客上看到了此书中的只言片语,感觉实在是醍醐灌顶,于是...

  • HDFS Centrailzed Cache会放到哪个DataNode上

    前几天,在看Hadoop User Email List的时候,发现了一个关于HDFS Centrailzed Cache的问题。刚好我又不熟悉...

  • Scala ArrayBuffer/ListBuffer vs Java ArrayList

    在我们编写Scala代码的时候,由于ListBuffer方便的特性,所以经常会使用ListBuffer。过去也一直没有什么问题。 但是呢,最近在...

  • Scala HashMap vs Java HashMap

    在这篇文章中,我们来探究一下Scala HashMap.put(k, v)以及Java HashMap.put(k, v)的性能。 具体代码没看...

  • Spark内存模型初探(2)-User Memory

    在上一篇文章Spark内存模型初探(1)-Storage/Execution Memory的使用中,我们初步解析了一下Storage/Execu...

  • Spark内存模型初探(1)-Storage/Execution Memory的使用

    过去,我翻译了几篇关于Spark内存模型的文章。翻译完以后,我觉得我对Spark内存模型已经够理解了,可是,纸上得来终觉浅,实际跑Spark任务...

  • Spark worker连接不上Master

    笔者最近在测试Spark的内存模型,测到ExecutionMemory的使用时,老是没发现分配任何ExecutionMemory。怀疑由于是在同...

个人介绍
由于简书会刻意屏蔽某些文章,所以现在所有的文章都会发布在https://alstonwilliams.github.io/,简书不再更新.