发简信
IP属地：北京
-
精彩博客收集
1、Spark MLlib机器学习：黄美灵2、Spark 应用：祝威廉3、Spark 系列：heayin1234、尚学堂 论坛5、尚学堂 公开课...
-
1、Catalyst源码解读之SqlParser本篇文章基于Spark1.6.1源码解读Catalyst下的SqlParser spark sql中可以分三种sql语句第一种DDL语句，DDL...
-
git 免密码push pull在oschina上托管代码的时候每次push都需要输入用户名和密码，是一件非常麻烦的事情，下面介绍两种非常简单的方式可以省略用户名和密码的输入 ...
-
IDEA阅读kafka源码环境搭建1.首先安装gradle,并配置环境变量,gradle下载地址http://services.gradle.org/distributions,...
-
2 kafka的特性消息持久化和缓存Kafka高度依赖文件系统来存储和缓存消息。一般的人都认为“磁盘是缓慢的”，这使得人们对“持久化结构提供具有竞争性的性能”这样的...
-
1 kafka简介简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速...
-
Spark Streaming 中使用c3p0连接池操作mysql数据库
在Spark Streaming的应用程序中，有时候需要将计算结果保存到数据库中，为了高效这里使用批量插入，结合c3po连接池，说明一下使用方法...
-
Spark Streaming源码解析
目录### Spark Streaming 透彻理解之一 通过案例对SparkStreaming透彻理解之 spark streaming运行机...
-
16 Spark Streaming源码解读之数据清理
Spark Streaming程序的运行，不断的产生job，不断的生成RDD、不断的接收数据存储数据，不断的保存元数据等，如果不清理这些数据，内...