大数据知识点第1节

96
CoderF
2017.12.18 15:03* 字数 158
1、hadoop2.x版本有哪三个组件
HDFS Yarn MapReduce
2、分别是做什么的
HDFS:存储
Yarn:计算
MapReduce:资源调度和作业调度
3、jdk默认,我们部署在哪个路径下,假如那个路径不存在,我们要先创建什么
默认/usr/java,如果不存在,需要先创建 
4、flume的三个组件
source:源端
channel:通道  memory|disk file
sink:目标端
5、kafaka三个组件
producer :生产者  flume-->kafka
borker: 数据存储
comsumer:消费者  spark streaming/storm/flink
6、flume是不是起一个进程,就包含了这三个组件
是的
7、那么kafaka是不是也是一个进程包含三个进程呢?假如不是,包含哪个?
不是,只包含borker组件
8、将文件上传至hadoop的根目录
hadoop fs -put filename /       # '/'不是Linux的根目录,表示hadoop的根目录
9、查看hadoop里的文件
hadoop fs -ls /
10、查看hadoop里的文件的内容
hadoop fs -cat filename
大数据知识点总结
Web note ad 1