一、hadoop概念 Hadoop由两部分组成,一是负责存储与管理文件的分布式文件系统HDFS、二是负责处理与计算的MapReduce的计算框架...
1.使用序列化的持久化级别 除了对多次使用的RDD进行持久化操作之外,还可以进一步优化其性能。因为很有可能,RDD的数据是持久化到内存,或者磁盘...
出现上述问题可能是格式化两次hadoop,导致没有datanode 解决方法1:重启linux,再使用start-dfs.sh和start-ya...
应用部署运行的时候出现JSP异常, 发生在使用JSTL库的时候: According to TLD or attribute directive...
一:注意事项和准备工作 1.1 准备3台Linux,可以ubuntu或者centOS ,本机设备性能不高,建议用设置开机进入命令行,然后用远程...
安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform....
一、准备Linux环境 我这边是用腾讯云服务器,进行远程登录,也可以用VMwareWorkstation Pro虚拟机,安装Linux系统进行操...
一、hdfs上传和下载文件流程 hdfs上传 客户端向namenode发出请求建立通信获得存储文件块的datanode节点,然后客户端将文件按照...
一、 spark-submit提交(yarn-cluster) 发生请求ResourceManager,请求启动ApplicationMaste...