IP属地：江苏
-
SQL实现Structured Streaming
### 需要的配置只有一个sql文件 ### 代码整体的结构参考开源项目 [waterdrop](https://github.com/Inte...
-
Nginx配置hbaseweb转发目标 为了公司集群的安全考虑，hadoop和hbase的web访问只能供有限的人访问 而要实现内网机器给外网访问，要解决的问题是： 1.hado...
-
spark调优
数据序列化 内存调整 内存管理概述 确定内存消耗 调整数据结构 序列化RDD存储 垃圾收集调整 其他考虑因素 并行程度 减少任务的内存使用情况 ...
-
spark监控
有几种方法可以监控Spark应用程序：Web UI，指标和外部检测。 Web界面 默认情况下，每个SparkContext都会在端口4040上启...
-
Kafka Consumer各种提交方式
普通的API publicstaticvoidCommonDemo(){finalProperties properties =newPrope...
-
kafka0.11Exactly Once语义与事务机制原理介绍
http://www.aboutyun.com/thread-24367-1-1.html 问题导读 1.为什么要提供事务机制? 2.Exact...
-
DirectKafkaInputDStream源码分析(包含动态分区感知)
先上一个官网的栗子： object DirectKafkaWordCount { def main(args: Array[String]) ...
-
Kafka性能测试之produce
在kafka的bin目录下，有两个脚本kafka-producer-perf-test.sh和kafka-consumer-perf-test....
-
如何使用 Java 调取 Python、R 的训练模型？
原文地址：https://mp.weixin.qq.com/s/mqAkgma3CBFNTxl__vktKQ 在工业界，我们经常会使用 Pyth...