发简信
IP属地：河南
-
Flink StreamTask OperatorChain分析
Flink的作业StreamTask是任务执行的核心，其执行的本质即为各个operator的执行，而operator之间又有前后依赖关系，各op...
-
Flink-StreamTask启动流程分析
StreamTask是流作业的任务基类，通常一个流作业的task启动由该方法的invoke函数为入口，本文基于Flink1.11.0该类生命流程...
-
Spark ByPassMergeSortShuffleWriter写流程分析
Spark的shuffleWriter一共有三种，本文分析 ByPassMergeSortShuffleWriter的shuffle写数据过程 ...
-
Spark UnsafeShuffleWriter写流程分析
Spark的UnsafeShuffleWriter是Tungsten-Project（内存管理）引入的新的Shuffle Writer。该wri...
-
Spark SortShuffleWriter写流程分析
Spark的shuffleWriter一共有三种，本文分析 SortShuffleWriter的shuffle写数据过程. SortShuffl...
-
Flink-on-Yarn-Per-job分析
JobManager启动分析 JobManager/AM进程启动命令 JobManager启动类 org.apache.flink.yarn.e...
-
Spark Shufflewrite分析
分布式计算的shuffle操作通常是分布式应用计算性能的瓶颈点，因此一个好的shuffle实现（shuffle write和shuffle re...
-
Zeppelin on Flink小试牛刀
Zepplin 从0.9 版本（当前该版本还未release，只有预览版）开始支持Flink最新版本1.10，鉴于Flink1.10版本全面合入...
-
平台开发要关注事项
平台开发与项目或者一般的基于特定项目应用开发要求不尽一致，项目讲究的是快速上线。在快速开发的过程中难免有欠考虑的情况，但可以通过快速迭代，人肉运...