Hadoop故障排查是确保Hadoop集群稳定运行的关键环节。以下是一份Hadoop故障排查指南，旨在提供解决常见问题的实用方法：
一、故障排查基本流程
- 识别并确认故障现象：
- 仔细观察Hadoop集群的运行状态，确定故障的具体表现。
- 收集故障发生时的相关信息，如错误日志、系统监控数据等。
- 收集和分析日志：
- 利用Hadoop自带的监控工具（如NameNode和DataNode的Web界面、Hadoop日志聚集系统）查看日志信息。
- 分析日志中的错误和警告信息，确定可能的问题源头。
- 逐步排查缩小问题范围：
- 根据日志信息，逐步排查可能的故障点。
- 检查集群的配置文件（如hdfs-site.xml、mapred-site.xml等），确保配置正确无误。
- 实施故障修复：
- 根据诊断出的根本原因，采取相应的措施进行故障修复。
- 重启Hadoop服务或相关组件，验证故障是否已解决。
- 编写故障报告并优化配置：
- 编写详细的故障报告，记录故障现象、排查过程、修复措施和测试结果。
- 根据故障排查的经验教训，对Hadoop集群的配置进行优化，以防未来类似问题的发生。
二、常见问题及解决方法
- Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES
- 问题描述：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限。
- 解决方法：
- 修改系统文件限制，增加打开文件的数量限制。
- 检查网络连接，确保节点间的网络连通性良好。
- 调整Hadoop配置参数，如增加失败重试次数等。
- Too many fetch-failures
- 问题描述：节点间的连通性不足，导致fetch失败次数过多。
- 解决方法：
- 检查并更新/etc/hosts文件，确保本机IP对应服务器名，并包含所有服务器IP和服务器名。
- 检查.ssh/authorized_keys文件，确保包含所有服务器（包括其自身）的public key。
- 处理速度特别慢
- 问题描述：map阶段处理速度快，但reduce阶段处理速度慢，且反复出现reduce=0%的情况。
- 解决方法：
- 调整Hadoop环境变量，增加堆内存大小。
- 优化作业配置，如增加reduce任务的数量等。
- NameNode启动失败
- 问题描述：NameNode无法启动，导致Hadoop集群无法正常运行。
- 解决方法：
- 执行NameNode格式化操作（注意：格式化会删除所有数据，请谨慎操作）。
- 检查并确认数据目录和日志目录存在且具有正确的访问权限。
- 查看NameNode日志文件，根据错误信息进行排查和修复。
- 节点宕机
- 问题描述：Hadoop集群中的某个节点突然宕机，导致任务中断或数据丢失。
- 解决方法：
- 检查节点的硬件状态，如网络连接、磁盘空间等。
- 查看节点的日志文件，确定宕机原因并采取相应的修复措施。
- 网络故障
- 问题描述：Hadoop集群中节点间的网络通信出现故障，影响数据传输和任务调度。
- 解决方法：
- 使用ping命令测试节点间的网络连通性。
- 检查网络设备状态，确保网络设备正常工作。
- 根据网络故障的具体原因进行排查和修复。
- 配置错误
- 问题描述：Hadoop集群的配置信息不正确或不合理，导致各种故障发生。
- 解决方法：
- 仔细检查Hadoop配置文件（如hdfs-site.xml、mapred-site.xml等）的正确性。
- 根据集群的实际需求和资源情况调整配置参数。
- 重新加载配置并验证配置是否生效。
三、故障排查工具推荐
- Hadoop自带监控工具：如NameNode和DataNode的Web界面、Hadoop日志聚集系统等，提供了丰富的监控信息和日志记录功能。
- 第三方监控工具：如Cloudera Manager、Apache Ambari等，提供了更为直观的集群状态视图和故障诊断功能。
- 日志分析工具：如Log4j、ELK Stack（Elasticsearch、Logstash、Kibana）等，可以帮助管理员高效地分析和解读Hadoop日志信息。
总之，Hadoop故障排查需要综合运用多种方法和工具，通过仔细分析日志信息、逐步排查故障点、采取相应的修复措施来确保Hadoop集群的稳定运行。