• 精彩博客收集

    1、Spark MLlib机器学习:黄美灵2、Spark 应用:祝威廉3、Spark 系列:heayin1234、尚学堂 论坛5、尚学堂 公开课...

  • 120
    1、Catalyst源码解读之SqlParser

    本篇文章基于Spark1.6.1源码解读Catalyst下的SqlParser spark sql中可以分三种sql语句第一种DDL语句,DDL...

  • 120
    git 免密码push pull

    在oschina上托管代码的时候每次push都需要输入用户名和密码,是一件非常麻烦的事情,下面介绍两种非常简单的方式可以省略用户名和密码的输入 ...

  • 120
    IDEA阅读kafka源码环境搭建

    1.首先安装gradle,并配置环境变量,gradle下载地址http://services.gradle.org/distributions,...

  • 120
    2 kafka的特性

    消息持久化和缓存Kafka高度依赖文件系统来存储和缓存消息。一般的人都认为“磁盘是缓慢的”,这使得人们对“持久化结构提供具有竞争性的性能”这样的...

  • 120
    1 kafka简介

    简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速...

  • Spark Streaming 中使用c3p0连接池操作mysql数据库

    在Spark Streaming的应用程序中,有时候需要将计算结果保存到数据库中,为了高效这里使用批量插入,结合c3po连接池,说明一下使用方法...

  • Spark Streaming源码解析

    目录### Spark Streaming 透彻理解之一 通过案例对SparkStreaming透彻理解之 spark streaming运行机...

  • 16 Spark Streaming源码解读之数据清理

    Spark Streaming程序的运行,不断的产生job,不断的生成RDD、不断的接收数据存储数据,不断的保存元数据等,如果不清理这些数据,内...