HA的运作机制
1）hadoop-HA集群运作机制介绍
- 所谓HA，即高可用（7*24小时不中断服务）
- 实现高可用最关键的是消除单点故障
- hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA
2）HDFS的HA机制详解
通过双namenode消除单点故障
双namenode协调工作的要点：
-
A、元数据管理方式需要改变：
1.内存中各自保存一份元数据
2.Edits日志只能有一份，只有Active状态的namenode节点可以做写操作
3.两个namenode都可以读取edits
4.共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）
-
B、需要一个状态管理功能模块
1.实现了一个zkfailover，常驻在每一个namenode所在的节点
2.每一个zkfailover负责监控自己所在namenode节点，利用zk进行状态标识
3.当需要进行状态切换时，由zkfailover来负责切换
4.切换时需要防止brain split现象的发生
