![240](https://cdn2.jianshu.io/assets/default_avatar/2-9636b13945b9ccf345bc98d0d81074eb.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
Spark-Job-Stage-Task之间的关系 基本概念 在开始之前需要先了解Spark中Application,Job,Stage等基本概...
spark-local 详解 Spark的Local模式是在本地启动多个Threads(线程)来模拟分布式运行模式,每个Thread代表一个wo...
apt/apt-get command找不到-问题修复 最近使用ubuntu 18.04时,因为按照某些软件包导致apt/apt-get命令找不...
Intel-BigDL DistriOptimizer内部过程分析 Intel深度学习库BigDL在分布式模式下进行Model的训练是非常简单的...
Spark Mesos 架构图 Apache Mesos采用Master/Slave架构,主要由Mesos Master、Mesos Slave...
Engine中node和core的解析 针对不同的部署方式,bigdl安装如下方式解析参数中core的数量,返回的结果为Some(node,co...
虚拟机类加载机制 类从被加载到虚拟机内存开始到卸载出内存为止,整个生命周期包含以下7个阶段,其中验证,准备,解析3个阶段被统称为连接。7个阶段中...
## cat [option] filename默认显示内容到标准输出 -n 显示行号 -b 显示行号,忽略空白行 -e 在每行的末尾加上...
SparkRDD 在Spark中RDD具有5个主要的属性: A list of partitions A function(compute) t...