【hdfs工作原理 hdfs原理及各模块职责】
文章插图
hdfs工作原理如下:
1、客户端通过调用FileSystem对象的open括号来读取希望打开的文件 。对于HDFS来说,这个对象是分布式文件系统的一个实例 。
2、DistributedFileSystem通过RPC来调用namenode,以确定文件的开头部分的块位置 。对于每一块,namenode返回具有该块副本的datanode地址 。此外,这些datanode根据他们与client的距离来排序(根据网络集群的拓扑) 。如果该client本身就是一个datanode,便从本地datanode中读取 。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据,FSDataInputStream转而包装了一个DFSInputStream对象 。
3、接着client对这个输入流调用read() 。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接 。
4、通过在数据流中反复调用read(),数据会从datanode返回client 。
5、到达块的末端时,DFSInputStream会关闭与datanode间的联系 , 然后为下一个块找到最佳的datanode 。client端只需要读取一个连续的流,这些对于client来说都是透明的 。
6、在读取的时候,如果client与datanode通信时遇到一个错误,那么它就会去尝试对这个块来说下一个最近的块 。它也会记住那个故障节点的datanode,以保证不会再对之后的块进行徒劳无益的尝试 。client也会确认datanode发来的数据的校验和 。如果发现一个损坏的块,它就会在client试图从别的datanode中读取一个块的副本之前报告给namenode 。
7、这个设计的一个重点是,client直接联系datanode去检索数据,并被namenode指引到块中最好的datanode 。因为数据流在此集群中是在所有datanode分散进行的 。
- 员工转正工作态度自我评价怎么写
- 工作学习计划书怎么写
- 把CAD2020工作界面变成经典模式。怎么设置的?
- 谷歌翻译这个软件真的是吊炸天了,学生党工作党必备APP
- 会计做什么工作
- excel怎么删掉重复数据
- 陀螺仪为什么会反重力,这是什么原理?
- 钢夹烫的原理是什么?
- 电动车充电器工作原理,以及更换充电器线,小师傅为你讲解原理
- 电动车充电器电源的工作原理流程,及元件功能标识