大数据知识点第1节

1、hadoop2.x版本有哪三个组件
HDFS Yarn MapReduce
2、分别是做什么的
HDFS:存储
Yarn:计算
MapReduce:资源调度和作业调度
3、jdk默认,我们部署在哪个路径下,假如那个路径不存在,我们要先创建什么
默认/usr/java,如果不存在,需要先创建 
4、flume的三个组件
source:源端
channel:通道  memory|disk file
sink:目标端
5、kafaka三个组件
producer :生产者  flume-->kafka
borker: 数据存储
comsumer:消费者  spark streaming/storm/flink
6、flume是不是起一个进程,就包含了这三个组件
是的
7、那么kafaka是不是也是一个进程包含三个进程呢?假如不是,包含哪个?
不是,只包含borker组件
8、将文件上传至hadoop的根目录
hadoop fs -put filename /       # '/'不是Linux的根目录,表示hadoop的根目录
9、查看hadoop里的文件
hadoop fs -ls /
10、查看hadoop里的文件的内容
hadoop fs -cat filename

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 84,935评论 14 122
  • 博客原文 翻译作品,水平有限,如有错误,烦请留言指正。原文请见 官网英文文档 引言 概述 Apache Flume...
    rabbitGYK阅读 10,337评论 14 34
  • 介绍 概述 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布,可靠的,可用...
    ximengchj阅读 2,606评论 0 13
  • 介绍 概述 Apache Flume是一个分布式的,可靠的,高可用的系统,用于高效地从多个不同的数据源收集,汇总及...
    steanxy阅读 395评论 0 0
  • iOS 将时间NSDate转化为毫秒时间戳 对于将NSDate类型转换为时间戳,相信大家肯定都会,这样的示例代码,...
    专注_刻意练习阅读 203评论 0 0