ajin是世界上最好的人啦
04
05
元类编程 元类编程
属性获取在python的类中, 如果想通过user.attr获取属性, 可以在init函数中定义, 也可以使用property装饰, 函数就相当于一个属性, attr.setter装饰器可以使用user.attr=xx来进行值的set, 注
2020-04-05
03
Protocol buffers Protocol buffers
什么是protocol buffers?protocol buffers是一个灵活的, 高性能的, 自动化的数据结构序列化机制, 就像xml, 但是更小, 更快, 更简单, 你可以定义你想要的数据结构, 然后使用特定的代码生成工具生成代码去
2020-04-03
03
grpc概述 grpc概述
overviewRPC(Remote Procedure Call), grpc中, 客户端可以像使用本地对象一样, 直接调用其他机器上面的服务端应用程序方法, 能够很容易的构建分布式的应用程序和服务, grpc基于服务, 指定能够调用远程
2020-04-03
03
20
装饰器学习 装饰器学习
写在开头, 昨天参加了一场面试, 可能是疏于使用, 面试官的一道装饰器题目没有写出来, 因此这次我们来翻译一篇python装饰器的文章并结合具体题目来学习装饰器, 原文链接 stackouverflow 题目 装饰器基础### pytho
2020-03-20
02
09
01
22
hadoop小结 hadoop小结
概述 namenode:存储文件元数据,文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等)以及每个文件的块列表和块所在的datanode等 datanode:在本地文件系统存储文件块数据,以及块数据的校验和 secondary
2020-01-22
22
mapreduce工作流程 mapreduce工作流程
mapreduce工作流程 客户端submit前会获取待处理数据的信息,根据这些参数会生成一个任务分配规划 客户端提交切片信息,程序jar包,任务配置 yarn计算需要启动的maptask的数量 maptask拿到切片后调用inputf
2020-01-22
22
datanode工作机制 datanode工作机制
原理 datanode首次启动后向namenode注册 namenode返回注册成功应答 每周期向namenode上报所以块信息(每小时) 心跳消息3秒一次,心跳返回结果带有nn给datanode的命令 超过10分钟没有联系会自动任务不可
2020-01-22
22
namenode工作机制 namenode工作机制
原理图 首次启动HDFS,首先加载fsimage,启动前有edits操作,加载完fsimage在执行edits操作, 加载完成后开始交给2nn合并 新来的增删改请求写给edits,先更新文件,在更新内存 一直写导致edits较大,2nn每
2020-01-22
22
HDFS读写数据流程 HDFS读写数据流程
开局一张图先写数据 分布式文件系统是HDFS的一个抽象封装,先发出一个上传请求,namenode判断上传是否合法(文件存在性,上传权限等) namenode响应上传,客户端将文件逻辑切分成块大小,开启流对拷 请求上传第一个block n
2020-01-22
1 / 3