2. 回归测试概述
做Android SDK回归测试这些年，我踩过不少坑，也总结出一些硬道理。先说个真实案例——有一次我们在发布新版SDK前，只跑了冒烟测试，觉得核心功能没问题就发了。结果用户反馈某个旧版本兼容的API突然返回Null。定位了一整天，发现是重构时不小心改了一条边界判断。从那以后，我养成了一个习惯：任何代码变动，哪怕只是改了个日志级别，也必须跑一轮回归测试。
一、回归测试到底是什么？
回归测试，说白了就是「改完代码后，检查旧功能有没有被搞坏」。你新加了个弹窗，结果登录按钮点不动了——这就是回归问题。回归测试的目标就是抓住这些“副作用”。
我一般这样定义它：回归测试是一种验证型测试，它确保软件在发生变更后，原有功能仍然符合预期。这里的“变更”包括：新增功能、修改Bug、重构代码、升级依赖库、甚至是修改配置文件。
核心要点：回归测试不是测试新功能，而是保护旧功能。
二、为什么回归测试在Android SDK中特别重要？
Android SDK是个特殊的东西——它会被无数个第三方App集成。你的SDK一旦发布，就像泼出去的水，收不回来。哪怕你只改了一行代码，如果导致某个老版本Android系统的适配出问题，那后果可能是：
- 用户App闪退，他们第一反应是骂SDK厂商，而不是骂自己代码
- 发布紧急补丁需要走完整的发版流程，至少一两天
- 品牌口碑受损，竞品借机抢客户
我记得有一次，我们SDK里用了一个新版Android API（Target 33才有的），结果没有做向后兼容。一个使用Android 10的客户反馈他们App在调用某个方法时直接崩溃。排查后发现——我们没在回归测试用例里覆盖这个低版本场景。嗯，从那以后我的回归测试矩阵里必须包含：minSdkVersion、targetSdkVersion、compileSdkVersion的各类组合。
归纳一下回归测试的重要性：
| 维度 | 重要性说明 |
|---|---|
| 质量保障 | 防止新代码破坏旧功能，守住交付底线 |
| 风险管控 | 尽早发现兼容性问题，避免线上事故 |
| 成本控制 | 自动化回归测试能减少手工重复劳动 |
| 交付效率 | 稳定的回归通过率可以加快发版节奏 |
三、回归测试 vs 冒烟测试：别再傻傻分不清
很多同学把这两个概念混着用，我问你：冒烟测试通过，代表你的SDK就没问题了吗？当然不是。我刚开始带项目时也闹过笑话——冒烟测试全绿就放行了，结果上线后各种隐藏Bug。今天彻底理清它们的区别：
1. 目标不同
- 冒烟测试：保证核心路径能跑通。比如SDK初始化、基本配置读取、一个关键API调用。它像“点火试车”，看看引擎能不能着。
- 回归测试：保证所有已被验证过的功能仍然正常。它像“全车检测”，每个零件、每个接口都要过一遍。
2. 范围不同
- 冒烟测试用例少而精，通常几十个用例就够。
- 回归测试用例覆盖全量，少则几百，多则几千甚至上万（尤其是SDK）。
3. 执行时机不同
- 冒烟测试在每次Build后立即执行，失败就直接打回，不继续后续测试。
- 回归测试通常在冒烟通过后执行，也可以在预发布阶段集中跑一次。
4. 通过标准不同
- 冒烟测试要求100%通过，不容商量。
- 回归测试允许有已知的低优先级失败（比如某个非核心UI样式微调），但必须逐一评审。
我的经验：在CI流水线里，我会把冒烟测试设成「门禁」——任何PR如果冒烟没通过，直接拒绝合并。回归测试则设置在「合并后」或「每日夜间」触发，跑完整套用例。
四、一张图看懂三者的关系
下面这张图是我自己梳理的测试层级关系，帮助你在项目中找准回归测试的位置：
实际项目建议：我在搭建测试体系时，通常把冒烟测试放在CI的「pre-merge」阶段，回归测试放在「post-merge」或「nightly」阶段。这样既保证核心功能不会破坏，又能全面监控存量功能的质量。
五、回归测试的常见误区
- 「回归测试 = 全量手工测试」——千万别。手动执行上千个用例既不现实又容易漏检，一定要自动化。
- 「回归测试只在发版前做」——我吃过这个亏。最佳做法是每次代码变更都触发增量回归，至少跑受影响模块的用例。
- 「冒烟通过 = 回归安全」——完全错误。冒烟只覆盖最核心的路径，很多隐藏Bug只有全量回归才能抓到。
- 「回归测试用例越全越好」——不全对。用例要定期评审，剔除无效的、冗余的、过时的，否则跑一次要几小时，效率太低。
曾经踩过的坑：我负责一个SDK项目，回归测试用例从300个膨胀到2000个，每次跑要6小时。后来发现里面超过40%的用例是重复的或已经不适配当前版本的。那次之后，我每季度会做一次「回归用例瘦身」，用代码覆盖率工具辅助分析，去掉死用例，保留真正有价值的。
六、总结一下本章重点
- 回归测试定义：变更后验证原有功能不被破坏。
- 回归测试重要性：Android SDK兼容性复杂、影响面广，回归测试是质量护城河。
- 与冒烟测试的区别：冒烟测试是「轻量级门禁」，回归测试是「全量质量体检」。
- 执行策略：分层执行、自动化优先、定期用例维护。