网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

如何去计算hdfs中namenode中所需的堆内存大小-创新互联

请参考 上一个 链接地址:
hdfs为什么不擅长存储大量小文件
https://blog.51cto.com/12445535/2354951

专注于为中小企业提供成都网站制作、做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业邵东免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了超过千家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

概述:namenode replication(复制)
复制

默认块复制因子(dfs.replication)为3。复制影响磁盘空间但不影响内存消耗。复制会更改每个块所需的存储量,但不会更改块的数量。如果DataNode上的一个块文件(由NameNode上的一个块表示)被复制三次,则块文件的数量将增加三倍,但不会代表它们的块数。

关闭复制时,一个192 MB的文件占用192 MB的磁盘空间和大约450字节的内存。
//(计算方式为:128+64 也就是1个文件inode+2个块 3150 大约消耗 450字节的内存)
如果你有一百万个这样的文件,或192 TB的数据,你需要192 TB的磁盘空间,而不考虑RPC工作负载,450 MB内存:(100万inode + 200万个块)
150个字节。启用默认复制后,您需要576 TB的磁盘空间:(192 TB * 3)但内存使用率保持不变,450 MB。当您考虑簿记和RPC,并遵循每百万个块1 GB堆内存的建议时,对此方案更安全的估计是2 GB内存(有或没有复制)。


例子
示例1:估计使用的NameNode堆内存

Alice,Bob和Carl每个磁盘上都有1 GB(1024 MB)的数据,但切成不同大小的文件。 Alice和Bob的文件是块大小的一部分,需要的内存最少。 Carl没有用不必要的命名空间对象填充堆。
Alice:1 x 1024 MB文件

1个文件inode
    8块(1024 MB / 128 MB)

总计= 9个对象* 150个字节= 1,350个字节的堆内存
Bob:8 x 128 MB文件

8个文件inode
    8个块

总计= 16个对象* 150个字节= 2,400个字节的堆内存
Carl:1,024 x 1 MB文件

1,024个文件inode
    1,024个街区

总计= 2,048个对象* 150个字节= 307,200个字节的堆内存

**计算实例//生产可用 根据已知磁盘大小去计算需要多大的namenode堆内存

示例2:估计所需的NameNode堆内存**

在该示例中,通过考虑群集的容量来估计存储器。值四舍五入。两个集群都物理存储4800 TB或大约3600万个块文件(默认块大小)。复制确定有多少名称空间块代表这些块文件。
群集A:每个24 TB的200个主机= 4800 TB。

Blocksize = 128 MB,复制= 1
    以MB为单位的群集容量:200 24,000,000 MB = 4,800,000,000 MB(4800 TB)
    每个块所需的磁盘空间:每块128 MB
1 =每块128 MB存储空间
    块中的群集容量:4,800,000,000 MB / 128 MB = 36,000,000块

在容量方面,建议分配每百万个块1 GB的内存,群集A需要36 GB的大堆空间。
群集B:每个24 TB的200个主机= 4800 TB。

Blocksize = 128 MB,复制= 3
    以MB为单位的群集容量:200 24,000,000 MB = 4,800,000,000 MB(4800 TB)
    每个块所需的磁盘空间:每块128 MB
3 =每块384 MB存储空间
    块中的群集容量:4,800,000,000 MB / 384 MB = 12,000,000个块

在容量方面,建议为每百万个块分配1 GB内存,群集B需要12 GB的大堆空间。

群集A和群集B都存储相同数量的块文件。但是,在群集A中,每个块文件都是唯一的,并由NameNode上的一个块表示;在群集B中,只有三分之一是唯一的,三分之二是副本。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


当前标题:如何去计算hdfs中namenode中所需的堆内存大小-创新互联
标题来源:http://bjjierui.cn/article/dipipi.html

其他资讯