JAVA进程启动的时候，虽然我们可以为JVM指定合适的内存大小，但是这些内存操作系统并没有真正的分配给JVM,而是等JVM访问这些内存的时候,才真正分配,这样会造成以下问题:...
发简信
IP属地：山东
-
一个可以提升JVM运行性能的参数 -
Hudi 源码之 Flink Table Service 排期和执行
前言 Hudi Flink支持配置table service的异步执行。Schedule的时机为checkpoint完成的时候。执行过程在线程池中完成。Flink Hudi ...
-
-
Java 类加载机制
何为类加载 类加载指的是JVM将class二进制文件读取到内存方法区，在堆内存中生成Class对象。 类加载过程 类加载的过程包含如下步骤： 加载 验证 准备 解析 初始化 ...
-
Hudi 报错和问题排查
本文档记录了Spark/Flink配置Hudi使用时遇到的几个比较棘手的问题。不定期更新。 spark-sql或者spark-shell启动出现NoClassDefFound...
-
Hudi on flink v0.7.0 使用遇到的问题及解决办法测试用例参考原文：https://blog.csdn.net/Mathieu66/article/details/110389575[https://blog.csdn.ne...
-
Hadoop Proxy User
Proxy user - Superusers 代表其他用户执行操作[https://hadoop.apache.org/docs/stable/hadoop-project...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException是一个checked exception，意味着我们在代码中必须使用try catc...
-
Hudi 源码之 Clustering
什么是Clustering 开门见山，Clustering主要有两个作用：数据小文件合并和重排序。当数据写入Hudi表时，为了提高写入效率和存储利用率，可能会产生大量小文件。...
-
Flink 使用之连接 Kafka
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本文介绍Flink ...
-
Prometheus 监控flink
提要 本文主要介绍将flink任务运行的metric发送到Prometheus 监控的意义 flink流式任务在实时性稳定性方面都有一定的要求，通过Prometheus 采集...
-
Flink 使用之 SQL UDF 2
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 接上篇Flink 使...
-
Tomcat WebAppClassLoader隔离加载实现
1 概述 2 一个自定义ClassLoader的例子 3 StandardContext实例化 4 Servlet加载 5 总结 1 概述 本文属于阅读代码中的笔记，主要通过...
-
Hue 4.10 查询Hive执行存在中文的SQL出错问题解决
错误现象 使用Hue 4.10（基于Python2.7构建）查询Hive，执行SQL中出现中文字符的时候报错。例如执行： 可能出现的错误类似如下。 错误1： 错误2： 解决方...
-
Flink 获取配置的途径
前言 Flink配合Hadoop使用的时候获取配置文件的方式非常之多，官网没有统一的总结。本篇将这些获取配置的方法梳理总结是为了： 掌握多种指定Flink Hadoop配置的...
-
Hudi Spark写入出现NoSuchMethod HdfsDataInputStream.getReadStatistics问题解决
环境信息 Hudi：0.13.1 Hadoop：3.1.1 问题背景 Spark 创建Hudi表的时候偶现如下错误： 无法成功写入。 问题原因 Hudi的metadata使用...
-
Hue 配置 LDAP 认证
环境信息 Hue：4.3 OpenLDAP：2.4.44 LDAP认证配置 首先需要查找系统的Root DN。例如： 可以找到： 从而得知root DN为cn=manager...
-
Flink 使用之动态Kerberos认证
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 背景 Flink Kerb...
-
解决：flink 日志不打印 flink打印中文日志出现乱码
flink版本 1.14安装使用CDH 6.3 解决问题1：flink 日志不打印 flink启动日志 flink web ui日志 均不打印解决问题2：flink打印中文日...
