HDFS元数据管理机制

本文章的主题如下:

  • 什么是元数据?

  • 元数据管理机制

  • Checkpoint操作

  • 元数据

元数据.png
  • 元数据管理

    1. 客户端上传文件的时候,NameNode先往edit log中记录这条操作;
    • 客户端根据NameNode分配的位置信息往DataNode中写入数据,数据成功完成上传之后,NameNode将刚刚写入edit log中的那条记录写入内存,便于读取数据,此条记录就是元数据;
    • 当edit log达到特定条件时,SecondaryNameNode会通过checkpoint操作将edit log文件合并到FsImage文件中;
  • 在某个时间点上,内存中的元数据跟FsImage中的元数据是相同的;
  • edit log 文件只能追加,不能修改;
  • 元数据的读写时分离的,内存中的元数据负责读。
  • Checkpoint操作

Checkpointing creates a new fsimage from an old fsimage and edit log.png
  1. Checkpoint触发条件:
    • 旧版本:
  • edit log达到特定大小(默认64M,可通过fs.checkpoint.size属性配置)

  • 达到特定时间间隔(默认1小时,可通过fs.checkpoint.period属性配置)
    - 2.X版本:(下面讲述的checkpoint过程都是建立在新版本上的)

  • 达到特定时间间隔 (默认1小时,可通过dfs.namenode.checkpoint.period属性配置)

  • edit log达到特定的为checkpoint的事务数量(默认1百万条,可通过dfs.namenode.checkpoint.txns属性配置)

    1. Checkpoint过程
  • 使用 Standby NameNode实现Checkpoint

当NameNode配置了HA机制,那么就是Standby NameNode来进行Checkpoint操作
详细过程如下:
1. Standby NameNode检查是否满足checkpoint的先决条件;
- Standby NameNode将它的命名空间(namespace)保存到一个新的fsimage,并且命名为fsimage.ckpt_(fsimage.ckpt_txid),其中txid是edit log中的最新一条事务ID(transaction ID )。然后Standby NameNode为该fsimage创建一个MD5文件,并且将fsimage重命名为fsimage_(fsimage_ckpt)。在此期间,大多数Standby NameNode的操作会被停止,例如NameNode的故障切换或者访问Standby NameNode的webui;
- Standby NameNode发送一条Http GET请求给active NameNode的GetImageServlet 中的 /getimage?putimage=1方法,URL参数中还包含txid,Standby NameNode hostname 和HTTP port;
- active NameNode 接收到请求之后,用接收到的信息反过来发送给 Standby NameNode的GetImageServlet。新的fsimage传输给active NodeName之后,也是先命名为fsimage.ckpt_,为它创建MD5文件,然后重命名为fsimage_

Checkpointing with NameNode HA configured.png

  • 使用 Secondary NameNode实现Checkpoint

如果没有配置HA,那么就需要通过Secondary NameNode来实现Checkpoint操作
详细过程如下:
1. Secondary NameNode检查是否满足checkpoint的先决条件,并且通过PRC到NameNode中获取最近编辑日志的事务ID (NamenodeProtocol#getTransactionId)
- Secondary NameNode停止NameNode往当前的edit log中写数据,并且给NameNode重新创建一个日志文件edit.new,用来记录新的日志,同时Secondary NameNode将压缩NameNode中的旧edit log。此步骤同样会返回当前fsimage和旧edit log的事务ID;
- 获取到以上的两个事务ID,Secondary NameNode通过Http GET请求从NameNode中下载fsimage和edit log,Secondary NameNode可能包含一些来自上一次checkpoint的文件(比如当前fsimage文件);
- 如果需要,Secondary NameNode从新下载来的fsimage中重新加载其namespace;
- Secondary NameNode 同HA模式下Standby NameNode一样更新fsimage;
- Standby NameNode 发送请求让NameNode来下载新的fsimage;
- NameNode保存MD5文件,并且重命名fsimage,已经edit.new。

Time diagram of 2NN and NN with annotated steps.png
Secondary NameNode checkpoint.png

文献:http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/

推荐阅读更多精彩内容