namenode工作机制

原理图

namenode工作机制

  1. 首次启动HDFS,首先加载fsimage,启动前有edits操作,加载完fsimage在执行edits操作, 加载完成后开始交给2nn合并
  2. 新来的增删改请求写给edits,先更新文件,在更新内存
  3. 一直写导致edits较大,2nn每隔一段时间检查是否需要合并(checkpoint),合并时机为距离上一次合并过去多长时间,edits数据已满
  4. 请求合并,将edits和fsimage交给2nn(改名并新建edits文件),2nn先加载fsimage,在执行edits,生成新的fsimage并发给namenode
  5. edits永远不会删除,fsimage只保留最近的两个

文章作者: ajin
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ajin !
评论
 上一篇
datanode工作机制 datanode工作机制
原理 datanode首次启动后向namenode注册 namenode返回注册成功应答 每周期向namenode上报所以块信息(每小时) 心跳消息3秒一次,心跳返回结果带有nn给datanode的命令 超过10分钟没有联系会自动任务不可
2020-01-22
下一篇 
HDFS读写数据流程 HDFS读写数据流程
开局一张图先写数据 分布式文件系统是HDFS的一个抽象封装,先发出一个上传请求,namenode判断上传是否合法(文件存在性,上传权限等) namenode响应上传,客户端将文件逻辑切分成块大小,开启流对拷 请求上传第一个block n
2020-01-22
  目录