📚 课程目录第3章数据质量架构师技术栈面试

3. 数据质量技术栈面试：维度、DQC、Great Expectations、Deequ

本章聚焦数据质量架构师核心技术栈面试——从数据质量维度理论到三大主流工具（DQC、Great Expectations、Deequ）的实战选型。通过结构化回答框架和项目案例，帮助你在面试中快速构建专业表达。

3.1 面试问答卡片

面试问题：请解释数据质量维度有哪些，如何在实际项目中落地度量？

面试官考察点	是否系统理解数据质量理论，能否将维度转化为可执行的度量标准，以及是否具备架构治理思维。
回答框架	① 指出六大维度（准确性、完整性、一致性、及时性、唯一性、有效性）；② 每个维度给出具体度量指标（如准确率=正确值/总记录）；③ 举例说明在大数据ETL中如何用规则引擎自动化计算；④ 强调维度间权衡（如及时性与准确性）及治理优先级。
示例回答	我通常关注六大维度：准确性（如字段值对否）、完整性（非空率）、一致性（跨系统匹配）、及时性（延迟阈值）、唯一性（主键重复率）、有效性（枚举值检查）。在电商订单数据中，我们针对“订单金额”设置准确性规则（±5%偏差报警），并通过Dequeu的Completeness约束衡量完整性。每个维度都有SLO，纳入数据资产平台看板。
可能追问	如果时间维度和准确性冲突，你优先保证哪一项？如何处理维度之间的依赖关系？
避坑提醒	避免只背诵理论不举例；不要忽略“有效性”维度；回答时强调可度量、可自动化，而非纯概念讲解。

面试问题：对比DQC、Great Expectations和Deequ，你如何为团队选型？

面试官考察点	对主流工具的实际使用经验、技术选型能力（结合场景、规模、团队能力）、对开源与商业版本差异的理解。
回答框架	① 分别概述三个工具定位（DQC=Google云原生、GE=通用开源、Deequ=Spark生态）；② 从数据规模、实时性要求、团队技术栈、运维成本四个维度对比；③ 给出推荐场景（如海量离线用Deequ，多云环境用GE，GCP专用用DQC）；④ 强调可组合使用（如GE做规则编写 + Deequ做Spark执行）。
示例回答	在上一家公司，我们团队负责每天500亿条订单流的数据质量。Deequ直接集成Spark，性能最优，所以批量管道选用Deequ；同时实时流采用Great Expectations的批检模式，结合Kafka延迟指标。DQC仅在GCP项目中使用。选型原则：大数据量优先Deequ，灵活性优先GE，云厂商绑定优先DQC。
可能追问	如果项目从AWS迁移到阿里云，你原来用Deequ，迁移后工具链怎么调整？Great Expectations与DQC的规则能否互通？
避坑提醒	不要只说工具名不提适用边界；避免贬低某个工具（如说DQC太贵）；要体现你对各工具底层原理的理解（如GE使用expectation、Deequ用Analyzer）。

面试问题：请描述一个你使用数据质量工具解决的实际问题案例。

面试官考察点	实战经验（是否真的用过工具并解决问题）、问题定位能力、技术方案设计、量化结果意识。
回答框架	① 背景：某业务报表数据偏离，影响BI决策；② 分析：用Deequ的Profiler发现“用户ID”字段异常（空值+重复）；③ 解决：设置Completeness约束和Uniqueness约束，建立自动报警流水线；④ 效果：数据准确率从92%提升至99.8%，减少了3次数据事故。
示例回答	在金融风控项目，我们发现风控模型训练数据存在较多空值和重复记录。使用Deequ对Hive表运行Analyzer，自动生成质量报告，定位到“身份证号”字段空值率35%。随后部署了Completeness和Uniqueness检查，每天在Airflow中执行，异常时发Slack告警。两周后空值率降至1.5%，模型AUC提升0.03。
可能追问	Deequ的Analyzer具体如何捕捉异常？你是如何设置报警阈值的？如果数据量很大，Profiler性能如何优化？
避坑提醒	避免只讲结果不讲技术细节；一定要给出具体指标（如准确率提升多少）；使用工具术语（如Profiler、Constraint）。

3.2 项目案例：电商交易数据质量治理

项目名称	电商全链路交易数据质量治理
业务背景	电商大促期间订单、支付、物流数据不一致导致报表偏差，运营决策错误。需要建立统一的数据质量监控体系。
规模指标	每日处理100亿条记录；覆盖50个源表；涉及20+下游应用；数据延迟要求≤5分钟。
技术栈	Spark + Deequ（批/微批）、Great Expectations（规则编排）、Airflow（DAG调度）、Delta Lake（存储）、Prometheus + Grafana（监控）。
核心难点	① 实时与离线数据质量规则统一（同一套规则同时跑批和流）；② 大规模数据下Deequ Profiler性能优化（通过分区剪枝和采样分析）；③ 规则冲突处理（如订单金额一致性vs及时性）的自适应策略。
面试高频追问	你们如何保证规则一致性？答：使用GE定义标准规则库，Deequ和Flink分别从规则库拉取并执行。 Profiler跑全表太慢怎么办？答：先做统计采样（如对1%数据Profiler），异常项再全量核查。 Delta Lake如何辅助数据质量？答：利用Delta历史快照做时间旅行比对，发现增量变更中的质量滑坡。
可迁移回答话术	在电商项目中，我们实践了“规则定义→自动执行→分级告警→闭环修复”的数据质量架构。核心经验是：不要试图一套工具覆盖所有场景，而是以GE为规则引擎，Deequ作为高性能执行器，Airflow编排调度。最终将数据质量事故减少70%，SLO达标率从85%提升到99.2%。

📌 面试加分项：在回答中提及“数据质量SLA”、“质量成本衡量（如延迟报警代价）”、“数据资产目录与质量标签”等进阶概念，体现架构视野。

⚠️ 常见雷区：避免将DQC与Great Expectations对立比较，应强调互补；不要只讲工具不涉及SLA；项目案例中务必给出量化数据（如“准确率提升X%”）。