ajin是世界上最好的人啦
hadoop小结 hadoop小结
概述 namenode:存储文件元数据,文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等)以及每个文件的块列表和块所在的datanode等 datanode:在本地文件系统存储文件块数据,以及块数据的校验和 secondary
2020-01-22
mapreduce工作流程 mapreduce工作流程
mapreduce工作流程 客户端submit前会获取待处理数据的信息,根据这些参数会生成一个任务分配规划 客户端提交切片信息,程序jar包,任务配置 yarn计算需要启动的maptask的数量 maptask拿到切片后调用inputf
2020-01-22
datanode工作机制 datanode工作机制
原理 datanode首次启动后向namenode注册 namenode返回注册成功应答 每周期向namenode上报所以块信息(每小时) 心跳消息3秒一次,心跳返回结果带有nn给datanode的命令 超过10分钟没有联系会自动任务不可
2020-01-22
namenode工作机制 namenode工作机制
原理图 首次启动HDFS,首先加载fsimage,启动前有edits操作,加载完fsimage在执行edits操作, 加载完成后开始交给2nn合并 新来的增删改请求写给edits,先更新文件,在更新内存 一直写导致edits较大,2nn每
2020-01-22
HDFS读写数据流程 HDFS读写数据流程
开局一张图先写数据 分布式文件系统是HDFS的一个抽象封装,先发出一个上传请求,namenode判断上传是否合法(文件存在性,上传权限等) namenode响应上传,客户端将文件逻辑切分成块大小,开启流对拷 请求上传第一个block n
2020-01-22
操作系统复习 操作系统复习
操作系统的目标(方便些, 有效性, 可扩充性, 开放性) 未配置操作系统的计算机系统 人工操作方式(用户独占全机, cpu等待人工操作), 人机矛盾, 人工操作方式严重降低了计算机资源的利用率 脱机输入输出(解决人机矛盾及CPU和IO
2020-01-07
redis命令参考 redis命令参考
redis命令参考redis-python命令参考 redis提供的5中数据结构 结构类型 结构存储的值 结构的读写能力 string 可以是字符串, 整数, 或者浮点数 对整个字符串或者字符串中的一部分进行执行操作, 对整数和浮
2019-12-29
pythoner对象 pythoner对象
对象可拆包必须实现iter方法self 是init里面定义的self值repr是给开发者看的, 使用repr(object)eq是类实例的等于classmethod和staticmethodclassmethod定义操作类, 而不是操作示例
2019-12-27
对象引用 对象引用
变量不是盒子, 是引用每个变量都有标识, 类型和值, 对象一旦创建, 他的标识绝不会变is比较的是变量的标识(id), ==比较的是值, x is not None一般的复制是浅复制(复制的是对象的引用), 使用copy.deepcopy才
2019-12-27
函数装饰器和闭包 函数装饰器和闭包
装饰器基本知识装饰器是可调用的对象, 参数是另一个函数(被装饰的函数), 可以将函数返回或者替换 装饰器调用时机在函数定义后就直接运行(加载时即开始运行) 装饰器返回的函数与通过参数传入的相同 闭包def average(): se
2019-12-27
一等函数 一等函数
sorted使用 sorted是没有返回值的 sorted的key是一个函数, 定义后使用, 例如使用sorted排序列表sorted(s.items(), key=lambda x:x[1]) 高阶函数 map迭代操作,传入函数和迭代序
2019-12-21
主机规划 主机规划
磁盘链接方式与装置名的关系磁盘安装在不同的插槽, 会被自动识别为/dev/sd[a-p] 在早期的磁盘中, 第一扇区是储存重要信息, MBR格式, 但是大于2T以上的磁盘分区无法让某些操作系统读取, 因此新一种分区格式为GPT 分区表格式与
2 / 3