发简信
IP属地：北京
-
理解Spark中Job-Stage-Task之间的关系Spark-Job-Stage-Task之间的关系 基本概念 在开始之前需要先了解Spark中Application，Job，Stage等基本概...
-
spark-local模式详解
spark-local 详解 Spark的Local模式是在本地启动多个Threads(线程)来模拟分布式运行模式，每个Thread代表一个wo...
-
sudo apt-get:command not found Fix - Ubuntu 18.04
apt/apt-get command找不到-问题修复 最近使用ubuntu 18.04时，因为按照某些软件包导致apt/apt-get命令找不...
-
Intel-BigDL 训练过程(DistriOptimize)详解Intel-BigDL DistriOptimizer内部过程分析 Intel深度学习库BigDL在分布式模式下进行Model的训练是非常简单的...
-
Spark-Mesos架构图Spark Mesos 架构图 Apache Mesos采用Master/Slave架构，主要由Mesos Master、Mesos Slave...
-
Executor And Cores Set In BigDL
Engine中node和core的解析 针对不同的部署方式，bigdl安装如下方式解析参数中core的数量，返回的结果为Some(node,co...
-
JVM类加载机制虚拟机类加载机制 类从被加载到虚拟机内存开始到卸载出内存为止，整个生命周期包含以下7个阶段，其中验证，准备，解析3个阶段被统称为连接。7个阶段中...
-
Linux常用命令
## cat [option] filename默认显示内容到标准输出 -n 显示行号 -b 显示行号，忽略空白行 -e 在每行的末尾加上...
-
Spark RDD详解
SparkRDD 在Spark中RDD具有5个主要的属性： A list of partitions A function(compute) t...