240 发简信
  • SPARK优化

    1.1、 分配更多资源 1.1.1、分配哪些资源? Executor的数量 每个Executor所能分配的CPU数量 每个Executor所能分...

    0.3 1831 3 14
  • hbase大规模数据写入的优化历程

    业务背景:由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库,以此根据一定的条件来提供近实时查询,比如根据用户id及一定的...

  • 120
    spark开发调优

    开发调优原则一:避免创建重复的RDD原则二:尽可能复用同一个RDD原则三:对多次使用的RDD进行持久化Spark的持久化级别原则四:尽量避免使用...

  • 120
    Hive 行列转换

    一、列转行使用函数:lateral view explode(split(column, ',')) numSQL代码select id,tag...

  • 120
    hive的优化点,能够提升的效率差异

    比较重要是头几个和后几个,尤其是最后两个,性能提升效果是最明显的。但是会同时开启更多的MR任务,这就需要一个平衡了。 嵌套SQL并行执行优化: ...

  • 120
    HDFS简介

    HDFS是传统的Master-Slave架构:一个集群由一个Master节点和若干个Slave节点组成。在HDFS中,Master节点称为Nam...

  • 120
    kafka 架构

    https://www.cnblogs.com/cyfonly/p/5954614.html 2.1 拓扑结构 2.2 相关概念 1.produ...

  • hive动态分区和占比优化案例

    CREATE TABLE rpt_invest_online_prod_rate_mon (date_type varchar(2) NOT N...

  • 120
    HBase工作原理学习

    HBase工作原理学习 1 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC S...