HDFS的架构组成

2024-10-13 20:06:46

1、(1)主从结构•主节点,只有一个:namenode•从节点,有很多个:datano蟠校盯昂des(2)nameno颊俄岿髭de负责:管理•接收用户操作请求,可以实现对文件系统的操作(一般的操作方式有两种,命令行方式和Java API方式)•维护文件系统的目录结构(用来对文件进行分类管理)。•管理文件与block之间关系(文件被划分成了Block,Block属于哪个文件,以及Block的顺序好比电影剪辑),block与datanode之间关系。(3)datanode负责:存储•存储文件•文件被分成block(block一般是以64M来划分,但每个Block块所占用的空间是文件实际的空间)存储在磁盘上,将大数据划分成相对较小的block块,这样可以充分利用磁盘空间,方便管理。•为保证数据安全,文件会有多个副本(就好比配钥匙,都是为了预防丢失),这些副本会一块一块复制,分别存储在不同的DataNode上。

猜你喜欢