240 发简信
IP属地:河南
  • 120
    记一次IDEA中通过maven死活下载不了依赖

    把IDEA更新到2019.3版本后,本来是一件高兴的事,但是却遇到了一个问题,也就是文章题目中的问题,这个问题卡了我将近一个星期。。。最终解决了...

  • Spark Streaming 检查点机制

    SparkStreaming若需要24/7不间断的运行,因此Streaming必须对诸如系统错误,JVM出错等与程序逻辑无关的错误(failur...

  • 记一次在 Reduce 中 多次对 values 遍历产生的问题

    上面代码中,不能对 values 多次进行 foreach 遍历,第一次遍历之后,再遍历的话,会因为 iterator 中记录当前访问位置的变量...

  • 120
    LinkedHashMap 简单解析

    HashMap和双向链表合二为一即是LinkedHashMap。所谓LinkedHashMap,其落脚点在HashMap,因此更准确地说,它是一...

  • Java sort原理

    sort 可以对实现了 Comparable 接口的类进行排序,那sort的原理是什么呢?我们来看一下: 事实上Collections.sort...

  • 120
    Hive 分桶详解

    1分桶 1.1什么是分桶?和分区有什么区别? 分区:Hive在查询数据的时候,一般会扫描整个表的数据,会消耗很多不必要的时间。有些时候,我们只需...

  • secondary namenode,checkpoint新旧版本配置对比

    Checkpoint触发条件:hadoop 1.x版本:hadoop-2.7.2/ect/core-site.xml: hadoop 2.x 版...

  • 120
    从一个 HDFS edits 文件看到的一些问题

    我们看一下这是 NameNode 所在机器的:/home/admin/software/hadoop-2.7.2/hadoop-data/dfs...

  • 一些需要补充的点

    如何从Kafka中获取数据? 基于Receiver的方式 这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Con...