发简信
IP属地：上海
-
无法创建线程导致的nodemanager频繁挂掉
hadoop集群在执行一个MapReduce任务时，其中一个节点的nodemanager频繁挂掉，以下是日志中纪录的报错内容： 报错内容显而易见...
-
Spark推测执行解决SparkStreaming任务task卡死问题
背景：测试环境运行一个SparkStreaming任务，yarn-cluster模式，duration为5分钟一个批次，每个批次平均2000w条...
-
spark源码阅读之storage模块①Storage模块负责管理spark在计算过程中产生的数据，对用户来说，spark的编程面向的是RDD这种抽象的逻辑数据集，对RDD的转换和动作...
-
Hadoop HA集群增加journalnode节点
客户要求要回收一批hadoop集群的一批服务器，万幸namenode和resourcemanager服务没有安装在这批服务器上，但不巧的是3个j...
-
scala常用逻辑语句
1.输入输出语句1.1 输出语句： 1.2 输入语句：readline()：类似于java中的system.in或者scanner 2.条件控制...
-
spark源码阅读之storage模块②
在spark源码阅读之storage模块①中，描绘了Storage模块的整体框架是标准的master-slave框架：master用来管理sla...
-
spark源码阅读之executor模块①
本文基于Spark 1.6.3源码，采用一步一步深入的方式来展开阅读，本文是为了纪录自己在阅读源码时候的思路，看完一遍真的很容易忘记，写一篇文章...
-
spark源码阅读之scheduler模块②
在spark源码阅读之scheduler模块①中，分析了DAGScheduler如何提交Job，并且将Job划分为stage提交给TaskSch...
-
scala集合-List
1.List（定长集合）a.声明 b.查找与修改查找访问元素对应的下角标： 定长List不支持更新操作 c.一些常用的API 2.ListBuf...