首页 » 大数据 » HDFS简介

HDFS简介

 

HDFS

特点

系统结构

clipboard.png

MasterSlave结构。

分为三个角色:NameNodeSecondaryNameNodeDataNode

NameNode

SecondaryNameNode

DataNode

热备份

冷备份

fsimage

edits

工作原理

写操作

写操作原理图

clipboard.png

写操作场景

写操作流程

  1. Client将FileA按64M分块。分成两块,block1和Block2;
  2. Client向nameNode发送写数据请求,如图蓝色虚线①--->。
  3. NameNode节点,记录block信息。并返回可用的DataNode,如粉色虚线②--->。

    原理
  4. client向DataNode发送block1;发送过程是以流式写入。

写操作总结

读操作

读操作原理图

clipboard.png

读操作场景

读操作流程

  1. client向namenode发送读请求;
  2. namenode查看Metadata信息,返回fileA的block的位置:
  3. block的位置是有先后顺序的,先读block1,再读block2。而且block1去host2上读取;然后block2,去host7上读取。

注:
上面例子中,client位于机架外,那么如果client位于机架内某个DataNode上,例如,client是host6。那么读取的时候,遵循的规律是:优选读取本机架上的数据

原文链接:HDFS简介,转载请注明来源!

0