前言 我们知道,列式存储的数据组织形式使得它适合海量数据在线查询、分析的场景,而写入性能相对于读取性能似乎并不那么重要(传统的ORC / Parquet on Hive方案就...
前言 我们知道,列式存储的数据组织形式使得它适合海量数据在线查询、分析的场景,而写入性能相对于读取性能似乎并不那么重要(传统的ORC / Parquet on Hive方案就...
因为跨年有出游计划,所以稍微打破一下传统,选在平安夜发布2023年度最佳单曲。 今年的Top 1是来自著名Indie乐团Mili的「Excαlibur」,同时是近十年来所有年...
前言 最近在进行StarRocks与数据湖集成方面的一些工作(重点是SR 3.2与Paimon 0.6的适配),同时阅读和修改了部分代码,发现StarRocks JNI Co...
哈哈是的,不嫌弃的话欢迎听听
关于使用Flink RocksDB状态后端时一定要写MapState而非ValueState<Map>这档事(以及解决方法)前言 抱歉起这种烂大街的日本轻小说风格标题来吸引注意力。原本我认为这是常识,不需要专门写一篇文章来讲解如此细碎的点。但是在最近工作巡检中发现了越来越多如同ValueState...
前言 抱歉起这种烂大街的日本轻小说风格标题来吸引注意力。原本我认为这是常识,不需要专门写一篇文章来讲解如此细碎的点。但是在最近工作巡检中发现了越来越多如同ValueState...
今年的520,用一首特殊的歌,纪念不久前先后故去的外祖父母。 愿他们在天堂安好。 愿我们在还来得及的时候,去爱与被爱。 I still love you, even thou...
前言 上个月冲动消费攒了一台华擎DeskMini X300小主机,装了Ubuntu 22.04,用来解决M1芯片MacBook Pro上无法编译x86_64架构的StarRo...
前言 祝广大女性节日快乐~ 快问快答 Flink DataStream API中的RichFunction有哪些用途/特点?RichFunction中获取到的RuntimeC...
什么是Shim Shim一词的原本含义是“垫片”或者“楔子”,而首先将这个词应用到软件工程领域的似乎是微软。根据Wikipedia的总结: A shim is a libra...
是哇,最近在哪儿高就呢
「Daylight -デイライト-」(日光)又到了一年一度揭晓冠军单曲的时间~ 2022的Top 1与前几年的风格完全不同,但却是这一年最好的注解,是来自蝶团Morfonica的「Daylight -デイライト-」[h...
新年快乐哈哈😁
2022。2022年的最后一天,照例来写几笔。凌晨0点回来揭晓年度最佳单曲。 健康 新冠疫情第三年的结尾,解封了,阳过了,也痊愈了(咳嗽和味觉减退还在缓慢恢复中)。 虽然从统计角度看,...
我去,好久不见~~~
2022。2022年的最后一天,照例来写几笔。凌晨0点回来揭晓年度最佳单曲。 健康 新冠疫情第三年的结尾,解封了,阳过了,也痊愈了(咳嗽和味觉减退还在缓慢恢复中)。 虽然从统计角度看,...
1. "目前没有哪个企业做到了流批一体" 同意
2. "Flink跑batch还有非常远的路要走,并且Spark也一直在进化" 确实,Flink的批处理优化器比起Spark Catalyst不管是工程性还是完成度都差的远,要做的还有很多
3. "没人在生产环境用Flink来跑batch" 这点有点异议,因为我们目前就在生产环境用哈哈,特定场景还是不错的
流批一体随想前言 好久不见(鞠躬 今年以来的主要工作方向之一就是部门内流批一体能力的建设与落地。虽然这个概念早已成为老生常谈,并且笔者现在还没什么fancy的成果(惭愧),但今天还是想随...
又到了一年一度揭晓冠军单曲的时间~ 2022的Top 1与前几年的风格完全不同,但却是这一年最好的注解,是来自蝶团Morfonica的「Daylight -デイライト-」[h...
2022年的最后一天,照例来写几笔。凌晨0点回来揭晓年度最佳单曲。 健康 新冠疫情第三年的结尾,解封了,阳过了,也痊愈了(咳嗽和味觉减退还在缓慢恢复中)。 虽然从统计角度看,...
Flink批Hash Join递归超限问题 随着Flink流批一体能力的迅速发展以及Flink SQL易用性的提升,越来越多的厂商开始将Flink作为离线批处理引擎使用。在我...
又是很久没有更新歌词合集。之前偶尔随机到这首歌,总会想起大学时期那段一起玩乐队,跑去Mao和麻雀瓦舍演出的日子。一转眼,十年过去了。 今年已经经历过不止一次“show tim...
前言 本文是两个月前参加黑马比赛时写了一半的,为了避免烂尾,今天补全发出来。 Flink CDC经过长时间的发展,目前无疑是实现数据源端Pipeline的最简单直接的方式。而...
前言 好久不见(鞠躬 最近处在转型期,每天忙到飞起,关注具体技术细节的精力自然就比较少了(上一篇许下的周更承诺也食言了 = =)。上周帮助他人快速解决了一个因误用Flink状...
(•̀ω•́)✧
Hudi Timeline简析前言 Long time no see(鞠躬 最近终于开始尝试推广Hudi在部门内部的应用,作为流批一体计划的最后一块拼图,顺便复活许久未更的博客,希望今后至少能保持周更的节...