您当前的位置: 首页 > 

15 DATANODE的工作机制

杨林伟 发布时间:2019-08-06 17:36:50 ,浏览量:2

问题场景: 1、集群容量不够,怎么扩容? 2、如果有一些datanode宕机,该怎么办? 3、datanode明明已启动,但是集群中的可用datanode列表中就是没有,怎么办?

以上这类问题的解答,有赖于对datanode工作机制的深刻理解。

Datanode工作职责: 存储管理用户的文件块数据 定期向namenode汇报自身所持有的block信息(通过心跳信息上报)。这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题。


	dfs.blockreport.intervalMsec
	3600000
	Determines block reporting interval in milliseconds.

Datanode掉线判断时限参数:

datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为: timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。

而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。

需要注意的是hdfs-site.xml配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。

举个例子:如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。


        heartbeat.recheck.interval
        2000


        dfs.heartbeat.interval
        1

关注
打赏
1688896170
查看更多评论

杨林伟

暂无认证

  • 2浏览

    0关注

    3183博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0720s