发简信
-
本地IDEA提交Flink/Spark任务到集群的工具
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度...
-
FlinkSQL 语法扩展
FlinkSQL 语法扩展 参考flink-sql-parser模块了解下Flink如何扩展Calcite语法，创建空项目进行语法扩展。首先，拷...
-
FlinkSQL元数据验证Flink1.9以后引入CatalogManager来管理Catalog和CatalogBaseTable，在执行DDL语句时将表信息封装为Ca...
-
FlinkSQL生成StreamGraph
Flink根据算子之间的依赖关系构建出Transformations并依次形成StreamGraph、JobGraph 、ExecutionGr...
-
Flink跨集群访问开启Kerberos认证的Kafka
Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关...
-
Kerberos协议及Habase相关参数
Kerberos Kerberos是一种计算机网络认证协议，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份，协议...
-
Flink AsyncFunction导致的Kafka数据不消费问题描述 flinksql从kafka读取数据，异步函数加载Mysql数据进行维表关联，最后将数据写入到mysql中。任务在启动时会消费kafk...
-
flink1.9 使用LookupableTableSource实现异步维表关联
LookupableTableSource LookupableTableSource 是Flink新增的接口，支持通过一个表中的某几列进行数据...
-
自定义类加载器导致的MetaspaceOOM
问题描述 在提交flinkStreamSQL时，抛出异常信息java.lang.OutOfMemoryError: Metaspace，（已设置...