240 发简信
  • 120
    第十章 计算层优化之数据倾斜

    在MapReduce执行的过程中,会把任务的原始数据分片到多个Task中执行。想象以下场景,当任务的多数Task都在短时间内完成,只有个别Tas...

  • 120
    第十章 计算层优化之系统优化

    在大数据离线计算平台上每天会有上万个任务在执行,对cpu、内存、存储资源由极大的消耗,那么如何降低资源使用率、提高计算效率,就涉及到计算优化的问...

  • 120
    第九章 事实表设计总结及补充

    三种事实表比较 1)事务事实表:记录事务层面事实,跟踪业务过程行为 2)周期快照表:记录指定周期内一些聚集事务值或者度量状态 3)累计快照表:通...

  • 120
    第九章 事实表设计之累计快照事实表

    累计快照事实表的主要用于研究事件之间时间间隔,当然并不仅限于此,还有一些特殊用途,可以在实际工作中灵活运用。 设计特点 1)数据不断更新:不同于...

    2.9 2599 0 11
  • 120
    第九章 事实表设计之周期快照事实表

    想象以下场景,需要统计一个季度的商品成交量怎么取做?如果用一个季度内的事实事务表进行计算,虽然可以得出结果但是效率太低,在实际生产中并不可行,因...

  • 120
    第九章 事实表设计之事务事实表

    事务事实表用于跟踪定义业务过程的个体行为 设计案例 场景:为交易事务设计事实表 1)业务分析:交易事务包括下单、支付、发货、完结四个业务过程 2...

    2.4 1536 0 13
  • 120
    第九章 事实表设计之事实表基础

    事实表特性 1)事实表描述了业务过程,包含引用的维度和业务的度量,与维度表相比数据量大得多,增长速度快得多 2)描述业务过程的细节程度称为粒度 ...

  • 120
    第八章 维度设计之特殊维度

    递归层次 1)维度的递归层级即在维度分层的一种表现形式,如下: ① 类目维度,细分为叶子类目、三级类目、二级类目、一级类目② 地址类目,细分为区...

  • 120
    第八章 维度设计之维度变化

    维度变化的描述 与事实表变化相比,维度表变化相对缓慢,如何描述维度表的变化,有以下三种方式: 1)重写维度值:这种方式直接覆盖原数据 2)插入新...