第4章 技术面试之 Hadoop 生态：高频问题、回答框架、公司侧重点

📌 问题1：请描述 HDFS 的读写流程

🎯 面试官考察点：是否理解分布式文件系统的「主从架构」「流水线复制」和「容错设计」，能否清晰复现数据流动路径。

📐 回答框架：

1. 定位：HDFS 是主从架构，NameNode 管元数据，DataNode 存数据块
2. 写流程：客户端请求 NN → 返回目标 DN 列表 → 分块写入 → 流水线复制 → ACK 确认
3. 读流程：客户端请求 NN → 返回块位置 → 直连 DN 读取 → 合并数据
4. 容错：副本策略（默认3副本）、心跳超时重选、校验和验证

💬 示例回答：「HDFS 写数据时，客户端先向 NameNode 请求上传，NN 返回可用 DataNode 列表；客户端将文件切块，以流水线方式依次写入各 DN，每块写入后校验确认。读数据时，客户端向 NN 获取块元数据，然后直连 DN 并行读取，最终合并为完整文件。默认 3 副本，机架感知策略保证容错。」

🔍 可能追问：

• 如果写入过程中某个 DataNode 宕机了怎么办？
• 副本放置策略的具体规则是什么？
• HDFS 是如何保证数据一致性的？

📌 问题2：请解释 MapReduce 的工作原理

🎯 面试官考察点：对「分治思想」的理解深度，特别是 Shuffle 阶段 的细节（分区、排序、溢写、合并），以及是否有数据倾斜的敏感度。

📐 回答框架：

1. 核心思想：分而治之，大任务拆为小任务并行处理
2. 工作流程：Split 分片 → Map 输出键值对 → Shuffle（分区/排序/溢写/合并）→ Reduce 拉取聚合
3. Shuffle 详解：环形缓冲区、溢写条件、归并排序
4. 优化点：Combiner 预聚合、Partitioner 自定义分区、压缩中间数据

💬 示例回答：「MapReduce 将输入数据切为分片，各分片由 Map 任务并行处理，输出键值对。Shuffle 阶段对 Map 输出进行分区、排序和溢写，Reduce 任务拉取对应分区数据并归并计算。过程中可通过 Combiner 减少传输量，Partitioner 控制数据分发，避免数据倾斜。」

🔍 可能追问：

• Shuffle 阶段中环形缓冲区的作用是什么？
• 数据倾斜怎么发现和解决？
• Combiner 和 Reducer 的区别是什么？

📌 问题3：YARN 的资源调度流程是怎样的？

🎯 面试官考察点：对「资源抽象」和「三级架构」（RM → NM → AM）的理解，以及调度器选型的实际场景判断力。

📐 回答框架：

1. 架构：ResourceManager 全局管理 → NodeManager 节点管理 → ApplicationMaster 任务管理
2. 流程：客户端提交 → RM 分配容器启动 AM → AM 向 RM 申请资源 → NM 启动任务容器 → 运行与监控
3. 调度器对比：FIFO（简单排队）、Capacity（能力预留）、Fair（动态公平）
4. 关键概念：Container 资源单元、资源抢占、弹性伸缩

💬 示例回答：「YARN 采用 RM-NM-AM 三层架构。客户端提交作业后，RM 分配第一个容器启动 ApplicationMaster；AM 向 RM 异步申请资源，与 NM 协同启动任务容器并监控进度；任务完成后 AM 注销释放资源。调度器支持 FIFO、Capacity 和 Fair，生产常用 Capacity 保证队列隔离。」

🔍 可能追问：

• ApplicationMaster 挂掉了怎么办？
• Capacity 和 Fair 调度器的核心区别是什么？
• YARN 如何实现内存和 CPU 的资源隔离？

📁 项目名称：基于 Hadoop 的电商用户行为日志分析平台

🔍 面试高频追问与可迁移回答话术：

• 追问：数据倾斜怎么解决的？
  话术：「我们通过采样统计识别出热点 Key，在 Map 阶段增加随机前缀打散，Reduce 阶段再去除前缀聚合；同时将 Combined 提前在 Map 端预聚合，大幅减少倾斜分区数据量。」
• 追问：小文件如何合并？
  话术：「我们设置 Hive 合并参数 hive.merge.mapfiles=true，并在 Flume 端增加时间触发滚动策略，将文件控制在 128MB 左右；同时定期用 MapReduce 作业合并历史小文件。」
• 追问：Hive 查询怎么优化的？
  话术：「按日期和地域建立分区表，查询时只扫描相关分区；使用 ORC 列式存储 + Snappy 压缩，结合 SET hive.exec.parallel=true 并行执行，查询耗时降低 60%。」