4. 能力等级与过程属性

数据收集是过程评估的起点。数据不准,后面分析得再漂亮也没用。我见过不少评估新手,上来就发问卷,结果回收率低得可怜,或者收回来的全是无效数据。今天咱们就聊聊三种最基础、也最实用的数据收集方法:文档评审、访谈和问卷调查。

4.1 文档评审技巧

文档评审,说白了就是“看材料”。但怎么看出门道,这里头有讲究。

4.1.1 评审什么

我个人习惯把文档分成三类:

文档类型 典型示例 评审重点
过程定义文档 流程文件、规程、模板 完整性、一致性、可操作性
过程执行记录 会议纪要、评审记录、日志 是否按定义执行、偏差记录
过程产物 需求文档、设计文档、测试报告 质量水平、是否符合模板要求

4.1.2 评审步骤

我建议按这个顺序来:

  1. 先扫目录——了解文档结构,判断是否完整
  2. 再读关键章节——比如流程的输入输出、角色职责
  3. 交叉验证——拿过程定义和实际记录对比
  4. 记录疑点——标记不清楚或矛盾的地方,后续访谈时追问

小技巧:评审时别从头读到尾。先看变更记录和版本历史,往往能发现过程是否稳定。我在一个项目里发现,某份流程文档一个月改了8次版本——这本身就说明过程有问题。

4.1.3 避坑指南

我曾经犯过一个错:只看最新版文档,没看历史版本。结果漏掉了过程变更的关键信息。后来我养成了习惯——评审时一定要求提供至少最近三个版本的文档。

4.2 访谈技巧与提纲设计

访谈是获取“活数据”的最佳方式。文档不会告诉你“我们其实不这么干”,但访谈可以。

4.2.1 访谈类型

根据评估目标,我一般选这三种:

  • 结构化访谈——问题固定,适合收集量化数据
  • 半结构化访谈——有提纲但灵活,最常用
  • 非结构化访谈——开放式聊天,适合探索性问题

我个人偏爱半结构化。为什么呢?因为它既有方向,又能挖出意外信息。有一次我访谈一个测试经理,本来想问测试流程,结果他聊着聊着说出了需求变更管理的重大漏洞——这要是用结构化访谈,根本问不出来。

4.2.2 提纲设计原则

设计访谈提纲,记住这四点:

  1. 从宽到窄——先问大背景,再聚焦具体问题
  2. 从易到难——先问事实性问题,再问观点性、评价性问题
  3. 避免引导——别问“你觉得流程是不是太复杂了”,要问“你描述一下这个流程的执行情况”
  4. 准备追问——每个关键问题后面,想好2-3个追问方向

核心要点:好的访谈提纲不是问题清单,而是话题地图。你不需要按顺序问,但要确保所有关键话题都覆盖到。

4.2.3 访谈中的“三听三不问”

三听 三不问
听事实——具体发生了什么 不问“为什么”——容易引发防御心理
听感受——当事人怎么看待 不问“谁的责任”——变成追责就完了
听例外——有没有特殊情况 不问“你确定吗”——质疑对方可信度

注意:访谈不是审讯。你想想看,如果对方觉得你在找茬,他还会跟你说真话吗?我见过一个评估新手,访谈时一直追问“为什么没按流程做”,结果后面几个被访者都提前串好了词——数据全废了。

4.3 问卷调查设计原则

问卷适合大范围收集数据,但设计不好就是浪费大家时间。

4.3.1 什么时候用问卷

不是所有情况都适合发问卷。我一般看这三个条件:

  • 样本量超过30人
  • 需要量化对比(比如满意度评分)
  • 问题相对简单,不需要深度追问

如果三个条件都满足,用问卷。否则,优先考虑访谈。

4.3.2 问题设计五原则

  1. 一个题目只问一件事——别问“流程是否清晰且高效”,这是两个问题
  2. 用词具体——别问“经常”,要问“每周几次”
  3. 选项互斥且穷尽——比如“1-3次、4-6次、7次以上”,别漏了“0次”
  4. 避免双重否定——“您是否不认为流程不合理”——这种问题谁看得懂?
  5. 控制长度——超过20题,回收率会明显下降

我的习惯:问卷初稿出来后,先找3-5个人做预测试。让他们边填边说出思考过程。你会发现很多你以为很清楚的问题,别人理解完全不一样。有一次我预测试才发现,我问“评审效率”,有人理解成“评审花费的时间”,有人理解成“发现缺陷的数量”——这数据收集上来根本没法用。

4.3.3 量表选择

评估过程成熟度,我常用李克特5点量表:

分值 描述 含义
1 完全不同意 过程不存在或完全不执行
2 不同意 过程定义但不执行
3 中立 部分执行但不规范
4 同意 基本按定义执行
5 完全同意 严格执行并持续改进

嗯,这里要注意:量表中间值“3”容易成为“安全选项”。我建议在分析时,把“3”单独拎出来看——如果某个问题大量选“3”,说明要么问题表述不清,要么被访者不愿表态。

4.4 三种方法的选择策略

最后,我画了张图,帮你快速决策:

数据收集方法选择决策图 评估目标确定 需要了解过程定义 vs 实际执行? 文档评审 看定义、查记录 访谈 挖细节、探原因 问卷调查 大范围、量化数据 交叉验证 文档+访谈对照 深度挖掘 访谈+问卷互补 统计分析 问卷数据量化 综合评估结论 实际评估中,三种方法常组合使用

实际评估中,很少只用一种方法。我通常的做法是:先做文档评审了解过程定义,再用访谈验证实际执行情况,最后用问卷大范围收集数据做统计分析。三种方法互相印证,数据才可靠。

记住:数据收集不是目的,获取真实的过程信息才是。方法选对了,评估就成功了一半。