一、 Geospark安装： 我采用的是gradle安装，安装环境是Spark3.0.3+Scala.2.12.3 二、 Geospark 能够...

将代码块当成参数传入 输出结果

说明： spark sql的字段血缘关系具体实现代码和使用方法见GitHub：RHobart/spark-lineage-parent: 跟踪S...

DeltaLake支持大部分由Spark DataFrame提供的Opition选项 SparkSession的配置 创建表 DeltaLake...

相关说明： Presto官网: Presto | Distributed SQL Query Engine for Big Data (pres...

一直以来都是使用spark structstreaming 读取kafka数据，最近一直在尝试用flink读取kafka数据。 开发环境配置: ...

世间的一切都可以用时间来解决 前言： 因项目需要，需要调研debezium，也就是捕获数据更改(CDC)。翻阅了网上的一些资料和官网信息，将之总...

上面的命令执行顺序大致为： 文件描述： spark-submit.sh 提交任务，程序进入到SparkSubmit 文件代码中 执行main()...

目的：数据行专列，列转行 数据准备： 列转行： 行专列： 完整代码：