发简信
-
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确...
-
Flink on Hive构建流批一体数仓
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通...
-
Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12
在上一篇分享Flink集成Hive之快速入门--以Flink1.12为例[https://mp.weixin.qq.com/s/99ehmNzJ...
-
Flink集成Hive之快速入门--以Flink1.12为例
使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持...
-
数仓开发需要了解的5大SQL分析函数
基本语法 analytic_function_name: 函数名称 — 比如 RANK(), SUM(), FIRST()等等 partitio...
-
第十一篇|基于SparkSQL的电影分析项目实战在之前的分享中，曾系统地介绍了Spark的基本原理和使用方式，感兴趣的可以翻看之前的分享文章。在本篇分享中，将介绍一个完整的项目案例，该案例会真...
-
篇五|ClickHouse数据导入(Flink、Spark、Kafka、MySQL、Hive)
本文分享主要是ClickHouse的数据导入方式，本文主要介绍如何使用Flink、Spark、Kafka、MySQL、Hive将数据导入Clic...
-
篇四|ClickHouse的可视化界面与集群状态监控介绍 tabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse，具有以下特点： ⾼亮语法的编辑...
-
第十篇SparkStreaming手动维护Kafka Offset的几种方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器，而是创建输入流直接从Ka...