240 发简信
  • SPARK优化

    1.1、 分配更多资源 1.1.1、分配哪些资源? Executor的数量 每个Executor所能分配的CPU数量 每个Executor所能分...

    0.3 1831 3 14
  • 120
    HBase工作原理学习

    HBase工作原理学习 1 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC S...

  • 120
    spark数据倾斜

    一、数据倾斜 数据倾斜一般发生在对数据进行重新划分以及聚合的处理过程中。执行Spark作业时,数据倾斜一般发生在shuffle过程中,因为Spa...

  • spark日期类型转换

    import java.util.Date import java.text.SimpleDateFormat import java.util...

  • 120
    spark开发调优

    开发调优原则一:避免创建重复的RDD原则二:尽可能复用同一个RDD原则三:对多次使用的RDD进行持久化Spark的持久化级别原则四:尽量避免使用...

  • 120
    HDFS架构

    1.hadoop1.x hdfs架构图 3.hdfs写流程客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件b...

  • 120
    HDFS简介

    HDFS是传统的Master-Slave架构:一个集群由一个Master节点和若干个Slave节点组成。在HDFS中,Master节点称为Nam...

  • 120
    kafka 架构

    https://www.cnblogs.com/cyfonly/p/5954614.html 2.1 拓扑结构 2.2 相关概念 1.produ...

  • 120
    hive的优化点,能够提升的效率差异

    比较重要是头几个和后几个,尤其是最后两个,性能提升效果是最明显的。但是会同时开启更多的MR任务,这就需要一个平衡了。 嵌套SQL并行执行优化: ...