hadoop基本知识点之HDFS

1.Hadoop组成

Hadoop主要由三大模块组成:

1.1 HDFS

存储模块

* 分布式文件存储系统

* 提供了高可靠性、高扩展性和高吞吐率的数据存储服务

* hdfs典型结构:物理结构+逻辑结构

1.2. YARN

资源调配模块(引擎)(分布式资源管理框架)

* 负责集群资源的管理和调度

1.3. MapReduce

计算引擎

* 分布式计算框架(计算向数据移动-->移动计算而非移动数据)

* 具有易于编程、高容错性和高扩展性的优点

2.HDFS存储模型

* 文件线性切割成Block:偏移量(offset)

* Block分散存储在集群节点中

* 单一文件Block大小一致,文件与文件可以不一致

* Block可以设置副本数,副本分散在不同的节点中

* 副本数不要超过节点数量

* 文件上传可以设置Block大小和副本数

* 已上传的文件Block副本数可以调整,大小不变

* 只支持一次写入多次读取,同一时刻只有一个写入者

* 只能追加,不能修改

3.HDFS架构模型

* 文件的元数据(metadata)和文件数据是分开存储

* (主)NameNode存储文件元数据,单节点(posix)

* (从)DataNode存储文件数据

* DataNode与NameNode保持心跳,由dataNode提交Block列表

* HdfsClient(用户)与NameNode交互元数据信息

* HdfsClient(用户)与DataNode交互文件数据信息

HDFS架构.png

HDFS设计思想.png

4.NameNode

4.1 基于内存存储

- 只存在内存中(除了初始化和持久化的时候跟硬盘打交道,其余时候全部在内存中操作)

- 持久化操作(假设内存只有1G,现在数据有1.2G,则需要做持久化)

* 不存储Block位置信息(由DataNode上报给NameNode)-不存储到fsimage中

* NameNOde的metadata信息在启动后加载到内存

* Metadata信息存储到fsimage文件中

* edits记录对metadata的操作日志(类似redis)

4.2 NameNode主要功能

接受客户端的读写要求

收集DataNode汇报的Block列表信息

4.3 NameNode保存Metadata主要信息

文件Owership和pemissions

文件大小和时间

Block列表(offset等)

Block每个副本的位置(由DataNode上报)

5. DataNode

本地磁盘目录存储数据(Block),文件形式

同时存储Block的元数据信息

启动datanode时,会向namenode汇报block信息

通过向NameNode发送心跳信息保持与其联系(每3秒一次),如果NameNode 10分钟没有收到DataNode的心跳,则认为其已经lost,则将其block信息copy到其他DataNode上

6.HDFS优点

高容错性

* 数据自动保存多个副本

* 副本丢失后,自动恢复

适合批处理

* 移动计算非数据(把计算的逻辑在有数据的地方进行计算)

* 数据位置暴露给计算框架

适合大数据处理

* GB TB 甚至PB级数据

* 百万规模以上的

可构建在廉价的机器上

7.HDFS缺点

无法进行低延迟数据访问

* 比如毫秒级

* 低延迟与高吞吐率

小文件存取

* 占用NameNode大量内存

* 寻道时间超过读取时间

并发写入、文件随机修改

* 一个文件只能有一个写者

* 仅支持append

8.Block副本的放置策略

第一个副本:放置在上传文件的datanode上,如果是集群外提交,则随机挑选一台磁盘不太满,cpu不太忙的节点

第二个副本:放置在第一个副本不同的机架的节点上

第三个副本:与第二个副本相同的机架的节点

更多副本:随机节点

Block副本的放置策略.png

11.总结

HDFS就是一个分余展的大硬盘:分--分块 余--可以冗余,展--动态扩展

云计算:分布式计算,分布在不懂服务器中的计算

设计原则:移动计算,而不是移动数据

在生产环境中,nameNode和resourceManager一般情况是在不同机器上,而nodeManageer和datanode一般情况是在同一台机器上(至少离得近)

推荐阅读更多精彩内容

  • 随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解H...
    LeiLv阅读 1,678评论 0 31
  • 自上一篇文章《Hadoop安装与集群配置》之后,需要对hadoop的一些基础知识进行一些总结。此文为HDFS相关的...
    landy8530阅读 733评论 2 8
  • 概述:HDFS即Hadoop Distributed File System分布式文件系统,它的设计目标是把超大数...
    LeiLv阅读 399评论 0 4
  • HDFS的设计目标 通过上一篇文章的介绍我们已经了解到HDFS到底是怎样的东西,以及它是怎样通过多副本机制来提供高...
    陌上疏影凉阅读 417评论 0 2
  • hdfs是什么? 问题: 1. hdfs是基于什么样的原理将文件分块存储到分布式环境中的各个设备上的? 2. h...
    静卧人间阅读 3,212评论 0 6