HDFS
Hadoop Distributed File System
易于扩展的分布式文件系统
运行在大量普通廉价机器上，提供容错机制
优点
- 高容错性
数据自动保存多个副本
副本丢失后，自动恢复 - 适合大数据批处理
移动计算不移动数据
数据位置暴露给计算框架
GB、TB甚至PB级别数据
百万规模以上的文件数量
10K节点规模 - 流式访问
一次写入,多长读取
保证数据一致性 - 构建成本低,安全可靠
构建在廉价的机器上
通过多副本提高可靠性
提供了容错和回复机制
缺点
- 不适合低延迟数据访问
- 不适合大量小文件存储
占用NameNode大量内存空间
磁盘寻道时间超过读取时间 - 不适合并发写入
一个文件只能有一个写入者 - 不提供文件的随机修改
只支持追加
HDFS基本架构和原理
HDFS架构图
HDFS核心概念
ActiveNameNode
- 主Master(只有一个)
- 管理HDFS文件系统的命名空间
- 维护文件元数据信息
- 管理副本策略(默认3个副本)
-
处理客户端读写请求
Standby NameNode
- Active NameNode的热备节点
- 周期性同步edits编辑日志，定期合并fsimage与edits到本
地磁盘 - Active NameNode故障快速切换为新的Active
NameNode元数据文件
- edits:编辑日志，客户端对目录和文件的写操作操首先被记到
edits日志中，如:创建文件、删除文件等 - fsimage:文件系统元数据检查点镜像文件，保存了文件系统中
所有的目录和文件信息，如:一个目录下有哪些子目录、子文 件，文件名，文件副本数，文件由哪些块组成等 - NameNode 内存中保存一份最新的镜像信息
镜像内容= fsimages + edits - NameNode定期将内存中的新增的edits与fsimage合并保存到磁盘
DataNode
- Slave工作节点，可以启动多个
- 存储数据块和数据校验和
- 执行客户端的读写请求操作
- 通过心跳机制定期向NameNode汇报运行状态和所有块列表信息
- 在集群启动时DataNode向NameNode提供存储的Block块
列表信息
Block数据块
- 文件写入到HDFS会被切分成若干个Block块
- 数据块大小固定，默认大小128MB，可自定义修改
- HDFS最小存储单元
- 若一个块的大小小于设置的数据块大小，则不会占用整
个块的空间 - 默认情况下每个Block有三个副本
Client
- 文件切分
- 与NameNode交互获取文件元数据信息
- 与DataNode交互，读取或写入数据
- 管理HDFS
HDFS为什么不适合存储小文件
- 元数据信息存储在NameNode内存中,内存大小有限
- NameNode存储Block数目有限
一个block元信息消耗大约150byte内存
如果一个文件大小为10K，则1亿个文件大小仅有1TB，却消耗NameNode 20GB内存 - 存取大量小文件消耗大量的磁盘寻道时间
HDFS高可用
HDFS内部机制
Block副本放置策略
HDFS写入流程
HDFS读取流程
HDFS数据完整性
- 读写数据传输完整性使用校验和--CRC-32
- 使用其他副本代替损坏的block
DataNode 后台线程定期检测,通过心跳定期向NameNode汇报,NameNode标记损坏的块,在其他街道拷贝新的副本
HDFS 服务脚本
sbin目录
start-all/stop-all.sh
启动/停止Hadoop集群中的全部服务(hdfs服务和yarn服务)start-dfs.sh/stop-dfs.sh
只启动/关闭HDfs相关的全部服务 (NameNode,DataNode,JournalNode)hadoop-daemon.sh start/stop namenode/datanode/journalnode
单独启动/停止单台hdfs某个服务
-start-yarn.sh /stop-yarn.sh
启动/停止yarn相关的全部服务(ResourceManager,NodeManager)yarn-daemon.sh start/stop resourcemanager/nodemanager
单独启动/停止单台yarn某个服务
HDFS文件操作命令
bin/hadoop fs 或者bin/hfds dfs
hdfs dfsadmin -report
[hadoop@hadoop0 bin]$ hdfs dfsadmin -report
Configured Capacity: 36182937600 (33.70 GB)
Present Capacity: 31441104896 (29.28 GB)
DFS Remaining: 31432712192 (29.27 GB)
DFS Used: 8392704 (8.00 MB)
DFS Used%: 0.03%
Under replicated blocks: 10
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
-------------------------------------------------
Live datanodes (3):
Name: 10.211.55.8:50010 (hadoop3)
Hostname: hadoop3
Decommission Status : Normal
Configured Capacity: 12060979200 (11.23 GB)
DFS Used: 2797568 (2.67 MB)
Non DFS Used: 945188864 (901.40 MB)
DFS Remaining: 10476720128 (9.76 GB)
DFS Used%: 0.02%
DFS Remaining%: 86.86%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Mon Jan 22 20:54:24 CST 2018
Name: 10.211.55.7:50010 (hadoop4)
Hostname: hadoop4
Decommission Status : Normal
Configured Capacity: 12060979200 (11.23 GB)
DFS Used: 2797568 (2.67 MB)
Non DFS Used: 944205824 (900.46 MB)
DFS Remaining: 10477703168 (9.76 GB)
DFS Used%: 0.02%
DFS Remaining%: 86.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Mon Jan 22 20:54:24 CST 2018
Name: 10.211.55.9:50010 (hadoop2)
Hostname: hadoop2
Decommission Status : Normal
Configured Capacity: 12060979200 (11.23 GB)
DFS Used: 2797568 (2.67 MB)
Non DFS Used: 943620096 (899.91 MB)
DFS Remaining: 10478288896 (9.76 GB)
DFS Used%: 0.02%
DFS Remaining%: 86.88%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Mon Jan 22 20:54:24 CST 2018
hdfs dfsadmin -safemode 安全模式
[hadoop@hadoop0 bin]$ hdfs dfsadmin -safemode
Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
[hadoop@hadoop0 bin]$ hdfs dfsadmin -safemode get
Safe mode is OFF in hadoop0/10.211.55.5:9000
Safe mode is OFF in hadoop1/10.211.55.10:9000
HDFS增加和移除节点
集群中加入新的datanode方法
• 在新的机器上拷贝一份包含配置文件的hadoop安装包 • 单独启动datanode
sbin/hadoop-daemon.sh start datanode从集群中移除故障或者废弃的datanode
• 将需要移除的datanode的主机名或者IP加入到NameNode的黑名单 加入黑名单方法: 修改NameNode的hdfs-site.xml文件，设置dfs.hosts.exclude配置 的值为需要移除的datanode的主机名或者IP
• 更新黑名单
bin/hadoop dfsadmin –refreshNodes
HDFS数据均衡器
- 数据块重新分布
sbin/start-balancer.sh -threshold 平衡值(默认10,表示10%) - 平衡阈值
HDFS达到平衡状态的磁盘使用率偏差值
值越低,各节点越平衡,但是消耗时间也更长
HDFS冷数据处理
“冷”数据文件
• 很长时间没有被访问过的数据文件(如半年内)
处理方法
• 高压缩比算法进行压缩，如Gzip或bzip2 • 小文件合并
