ajin是世界上最好的人啦
hadoop小结 hadoop小结
概述 namenode:存储文件元数据,文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等)以及每个文件的块列表和块所在的datanode等 datanode:在本地文件系统存储文件块数据,以及块数据的校验和 secondary
2020-01-22
mapreduce工作流程 mapreduce工作流程
mapreduce工作流程 客户端submit前会获取待处理数据的信息,根据这些参数会生成一个任务分配规划 客户端提交切片信息,程序jar包,任务配置 yarn计算需要启动的maptask的数量 maptask拿到切片后调用inputf
2020-01-22
datanode工作机制 datanode工作机制
原理 datanode首次启动后向namenode注册 namenode返回注册成功应答 每周期向namenode上报所以块信息(每小时) 心跳消息3秒一次,心跳返回结果带有nn给datanode的命令 超过10分钟没有联系会自动任务不可
2020-01-22
namenode工作机制 namenode工作机制
原理图 首次启动HDFS,首先加载fsimage,启动前有edits操作,加载完fsimage在执行edits操作, 加载完成后开始交给2nn合并 新来的增删改请求写给edits,先更新文件,在更新内存 一直写导致edits较大,2nn每
2020-01-22
HDFS读写数据流程 HDFS读写数据流程
开局一张图先写数据 分布式文件系统是HDFS的一个抽象封装,先发出一个上传请求,namenode判断上传是否合法(文件存在性,上传权限等) namenode响应上传,客户端将文件逻辑切分成块大小,开启流对拷 请求上传第一个block n
2020-01-22