发简信
IP属地：广东
-
算法系列-动态规划(1)：初识动态规划昨天，罗拉去面试回来，垂头丧气。显然是面试不顺利，我赶忙过去安慰。 经过询问才知道，罗拉面试挂在了动态规划。 说到动态规划，八哥可就来精神了，于...
-
Spark序列化Java序列化 有关Java对象的序列化和反序列化也算是Java基础的一部分，首先对Java序列化的机制和原理进行一些介绍。 Java序列化算法...
-
Spark：DataFrame写HFile （Hbase）一个列族、一个列扩展一个列族、多个列
扩展:Spark:DataFrame生成HFile 批量导入Hbase在上一篇博文中遗留了一个问题，就是只能处理DataFrame 的一行一列,...
-
flink 自定义触发器 定时或达到数量触发flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。如果默认触...
-
Spark 调优之数据倾斜什么是数据倾斜？ Spark 的计算抽象如下 数据倾斜指的是：并行处理的数据集中，某一部分（如 Spark 或 Kafka 的一个 Partit...
-
通过Java 操作Hbase
通过Java 操作Hbase 一、版本： hbase： 二、操作Hbase： 1、首先定义几个用的到的全局变量： HBaseAdmin ：主要对...
-
Spark数据倾斜
常见的数据倾斜是怎么造成的？Shuffle的时候，将各个节点上相同的key拉取到某个节点的一个task进行处理，比如按照key进行聚合或join...
-
ketlle windows下的安装ketlle基本介绍 kettle是纯java开发，开源的etl工具。可以在Linux、windows、unix中运行。有图形界面，也有命令脚本...
-
Hbase 关联 hive 表Hbase 是可以支持实时查询的非关系行数据库，采用列存储的同时也是的直接查询的数据不太直观，对此，我们可以将之关联hive表，通过HQL大到查...