240 发简信
IP属地:吉林
  • SPARK[RDD之转换函数]

    前面讲到了RDD的分区、RDD的创建,这节将讲解RDD的转换,RDD的转换就是从父RDD生成一个新的RDD,新的RDD分区可能和父RDD一致也可...

  • SPARK[RDD之创建函数]

    RDD的创建大多数情况下是从hdfs文本来的,当然也可以从其他组件接入进来,如kafka、hbase等,后续介绍 创建类型: 1、文本类型没有指...

  • SPARK[RDD之分区函数]

    rdd的计算都是以partiotion为单元的,这些分区的转换函数(见后面的章节)不会直接返回结果。当出现collect,count,toLis...

  • SPARK[RDD之partitions]

    RDD是容错、并行的数据结构,具备分区的属性,这个分区可以是单机上分区也可以是多机上的分区,对于RDD分区的数量涉及到这个RDD进行并发计算的粒...

  • SPARK[RDD之dependencies]

    Resilient Distributed Datasets [rɪ'zɪlɪənt] 准确翻译为 容错的 并行的 数据结构 而不是弹性分布式...

  • SPARK[star]

    AMPAlgorithms 算法Machines 机器people 人 spark较mapreduce快100倍的原因:内存数据、调度优化、...

  • Resize,w 360,h 240
    HBASE[3]建表考虑

    hbase建表在hbase中的表,表大小可以使10亿行和数百万个列,存储量是其他任何radbms无法比拟的,查询更新等待时间并丝毫不比radbm...

  • MapReduce

    OLTP On-Line Transaction ProcessingOLAP On-Line Analytical Processing在定时...