4. 能力等级与过程属性
数据收集是过程评估的起点。数据不准,后面分析得再漂亮也没用。我见过不少评估新手,上来就发问卷,结果回收率低得可怜,或者收回来的全是无效数据。今天咱们就聊聊三种最基础、也最实用的数据收集方法:文档评审、访谈和问卷调查。
4.1 文档评审技巧
文档评审,说白了就是“看材料”。但怎么看出门道,这里头有讲究。
4.1.1 评审什么
我个人习惯把文档分成三类:
| 文档类型 | 典型示例 | 评审重点 |
|---|---|---|
| 过程定义文档 | 流程文件、规程、模板 | 完整性、一致性、可操作性 |
| 过程执行记录 | 会议纪要、评审记录、日志 | 是否按定义执行、偏差记录 |
| 过程产物 | 需求文档、设计文档、测试报告 | 质量水平、是否符合模板要求 |
4.1.2 评审步骤
我建议按这个顺序来:
- 先扫目录——了解文档结构,判断是否完整
- 再读关键章节——比如流程的输入输出、角色职责
- 交叉验证——拿过程定义和实际记录对比
- 记录疑点——标记不清楚或矛盾的地方,后续访谈时追问
小技巧:评审时别从头读到尾。先看变更记录和版本历史,往往能发现过程是否稳定。我在一个项目里发现,某份流程文档一个月改了8次版本——这本身就说明过程有问题。
4.1.3 避坑指南
我曾经犯过一个错:只看最新版文档,没看历史版本。结果漏掉了过程变更的关键信息。后来我养成了习惯——评审时一定要求提供至少最近三个版本的文档。
4.2 访谈技巧与提纲设计
访谈是获取“活数据”的最佳方式。文档不会告诉你“我们其实不这么干”,但访谈可以。
4.2.1 访谈类型
根据评估目标,我一般选这三种:
- 结构化访谈——问题固定,适合收集量化数据
- 半结构化访谈——有提纲但灵活,最常用
- 非结构化访谈——开放式聊天,适合探索性问题
我个人偏爱半结构化。为什么呢?因为它既有方向,又能挖出意外信息。有一次我访谈一个测试经理,本来想问测试流程,结果他聊着聊着说出了需求变更管理的重大漏洞——这要是用结构化访谈,根本问不出来。
4.2.2 提纲设计原则
设计访谈提纲,记住这四点:
- 从宽到窄——先问大背景,再聚焦具体问题
- 从易到难——先问事实性问题,再问观点性、评价性问题
- 避免引导——别问“你觉得流程是不是太复杂了”,要问“你描述一下这个流程的执行情况”
- 准备追问——每个关键问题后面,想好2-3个追问方向
核心要点:好的访谈提纲不是问题清单,而是话题地图。你不需要按顺序问,但要确保所有关键话题都覆盖到。
4.2.3 访谈中的“三听三不问”
| 三听 | 三不问 |
|---|---|
| 听事实——具体发生了什么 | 不问“为什么”——容易引发防御心理 |
| 听感受——当事人怎么看待 | 不问“谁的责任”——变成追责就完了 |
| 听例外——有没有特殊情况 | 不问“你确定吗”——质疑对方可信度 |
注意:访谈不是审讯。你想想看,如果对方觉得你在找茬,他还会跟你说真话吗?我见过一个评估新手,访谈时一直追问“为什么没按流程做”,结果后面几个被访者都提前串好了词——数据全废了。
4.3 问卷调查设计原则
问卷适合大范围收集数据,但设计不好就是浪费大家时间。
4.3.1 什么时候用问卷
不是所有情况都适合发问卷。我一般看这三个条件:
- 样本量超过30人
- 需要量化对比(比如满意度评分)
- 问题相对简单,不需要深度追问
如果三个条件都满足,用问卷。否则,优先考虑访谈。
4.3.2 问题设计五原则
- 一个题目只问一件事——别问“流程是否清晰且高效”,这是两个问题
- 用词具体——别问“经常”,要问“每周几次”
- 选项互斥且穷尽——比如“1-3次、4-6次、7次以上”,别漏了“0次”
- 避免双重否定——“您是否不认为流程不合理”——这种问题谁看得懂?
- 控制长度——超过20题,回收率会明显下降
我的习惯:问卷初稿出来后,先找3-5个人做预测试。让他们边填边说出思考过程。你会发现很多你以为很清楚的问题,别人理解完全不一样。有一次我预测试才发现,我问“评审效率”,有人理解成“评审花费的时间”,有人理解成“发现缺陷的数量”——这数据收集上来根本没法用。
4.3.3 量表选择
评估过程成熟度,我常用李克特5点量表:
| 分值 | 描述 | 含义 |
|---|---|---|
| 1 | 完全不同意 | 过程不存在或完全不执行 |
| 2 | 不同意 | 过程定义但不执行 |
| 3 | 中立 | 部分执行但不规范 |
| 4 | 同意 | 基本按定义执行 |
| 5 | 完全同意 | 严格执行并持续改进 |
嗯,这里要注意:量表中间值“3”容易成为“安全选项”。我建议在分析时,把“3”单独拎出来看——如果某个问题大量选“3”,说明要么问题表述不清,要么被访者不愿表态。
4.4 三种方法的选择策略
最后,我画了张图,帮你快速决策:
实际评估中,很少只用一种方法。我通常的做法是:先做文档评审了解过程定义,再用访谈验证实际执行情况,最后用问卷大范围收集数据做统计分析。三种方法互相印证,数据才可靠。
记住:数据收集不是目的,获取真实的过程信息才是。方法选对了,评估就成功了一半。