任务运行失败
- 任务代码异常
- JVM在退出前向application master发送错误报告，报告被记录用户日志
- application master将任务标记为failed，释放容器和资源
- 任务JVM突然退出
- JVM软件缺陷而导致MapReduce用户代码由于某些特殊原因造成JVM退出。
- NodeManager注意到JVM退出，通知application master将任务标记为失败
- 任务挂起
- application master长时间未接收到进度更新，将任务标记为失败，JVM进程也将会自动杀死
- 默认超时时间是10分钟,对应的属性是：mapreduce.task.timeout，单位是毫秒；如果设置为0，则永远不会被标记为失败，挂起的任务占用资源不释放，降低集群效率，要避免这种设置。
- 避免在失败节点尝试重新调度，默认任务失败超过4次，不再重试。尝试次数由mapreduce.map.maxattempts 属性控制
- 如果希望少数几个任务不影响整体作业的执行，设置任务失败的最大百分比
- mapreduce.map.failures.maxpercent mapreduce.reduce.failures.maxpercent
- 终止或取消任务尝试，因为是推测副本或所处NodeManager失败，导致运行的任务被标记killed，被中止的尝试不计入任务尝试次数
ApplicationMaster运行失败
- 避免在失败节点尝试重新调度，默认任务失败超过4次，不再重试。尝试次数由mapreduce.map.maxattempts 属性控制
- 如果希望少数几个任务不影响整体作业的执行，设置任务失败的最大百分比
- mapreduce.map.failures.maxpercent mapreduce.reduce.failures.maxpercent
- 终止或取消任务尝试，因为是推测副本或所处NodeManager失败，导致运行的任务被标记killed，被中止的尝试不计入任务尝试次数
- application master向ResourceManager发送周期心跳，当失败时，ResrouceManager检测到失败并通知NodeManager开启一个新的容器并开始一个新的application master
- MapReduce application master 使用作业历史恢复失败的应用程序任务状态，不需要重新运行
- 恢复功能由： yarn.app.mapreduce.am.job.reduce.enable属性控制，默认开启（true）
- 如果application master运行失败，则必须向ResourceManager请求新的地址。
NodeManager运行失败
- application master向ResourceManager发送周期心跳，当失败时，ResrouceManager检测到失败并通知NodeManager开启一个新的容器并开始一个新的application master
- MapReduce application master 使用作业历史恢复失败的应用程序任务状态，不需要重新运行
- 恢复功能由： yarn.app.mapreduce.am.job.reduce.enable属性控制，默认开启（true）
- 如果application master运行失败，则必须向ResourceManager请求新的地址。
ResourceManager运行失败
- ResourceManager失败，所有的作业都失败且不能恢复
- 需要实现高可用(HA)，在双机热备配置下运行一对ResourceMananger
- 所有运行中的应用程序的信息存储在一个高可用的状态存储区(Zookeeper/HDFS备份)
