1. 课程导入与马尔可夫链全景

在现实世界中，我们经常需要描述这样一类系统：它在一系列离散时刻上处于某个状态，并且下一个时刻的状态只取决于当前状态，而与更早的历史无关。股票价格的涨跌、天气的晴雨变化、设备在正常与故障之间的切换、用户在网页之间的跳转、自然语言中词与词的接续——这些现象背后都隐藏着同一个数学结构：马尔可夫链。本课程将带你从零开始，建立对马尔可夫链的完整认知，并最终能够独立完成建模、计算与稳态分析。

什么是马尔可夫链

马尔可夫链是一个在离散时间上演化的随机过程。它由三个核心要素构成：状态空间、转移概率和马尔可夫性。状态空间是所有可能状态的集合，通常记为 S = {s₁, s₂, …, sₙ}，例如天气模型中的 {晴, 阴, 雨}，或设备模型中的 {正常, 降级, 故障}。转移概率描述从当前状态 i 转移到下一状态 j 的可能性，记为 pᵢⱼ，满足对任意 i 有 Σⱼ pᵢⱼ = 1。而马尔可夫性——也称无后效性——是整个理论的基石：给定当前状态，未来状态的条件分布与过去状态无关，用条件概率表达就是 P(Xₙ₊₁ = j | Xₙ = i, Xₙ₋₁ = iₙ₋₁, …, X₀ = i₀) = P(Xₙ₊₁ = j | Xₙ = i)。

理解马尔可夫性时，一个常见的误区是认为“系统没有记忆”。更准确的说法是：当前状态已经浓缩了所有对预测未来有用的历史信息。因此建模的关键工作之一，就是设计一个足够充分的状态定义，使得“当前状态”确实携带了预测所需的全部信息。如果状态定义不充分，马尔可夫性就会被破坏，模型也随之失真。

从转移概率到转移矩阵

当状态空间有限时，把所有转移概率按行排列，就得到转移概率矩阵 P，其中第 i 行第 j 列的元素为 pᵢⱼ。这个矩阵有两个重要特征：所有元素非负，且每一行之和为 1，这样的矩阵称为随机矩阵。以一个简化的天气模型为例，状态为 {晴, 雨}，假设晴天次日仍晴的概率为 0.8、转雨为 0.2；雨天次日转晴为 0.4、仍雨为 0.6，则转移矩阵为：

P = [ 0.8  0.2 ]
    [ 0.4  0.6 ]

若初始分布为 π₀ = [0.5, 0.5]，则经过一步演化后的分布为 π₁ = π₀P = [0.6, 0.4]，两步后为 π₂ = π₀P²。可以看到，分布随步数推进而不断变化，而矩阵乘法正是这一演化的计算载体。当步数趋于无穷时，分布往往会收敛到一个不再变化的稳态分布，这正是本课程后半部分的核心议题。

课程知识地图

本课程共 30 章，整体遵循“概念奠基 → 建模方法 → 计算分析 → 稳态理论 → 综合实战”的递进路线。下图展示了各知识模块之间的依赖关系与学习路径：

可以看到，前六章聚焦概念与矩阵运算基础，第七至十三章解决“如何从实际问题中抽象出状态和转移概率”，第十四至二十章讨论多步转移、首达时间、常返性与周期性等动态性质，第二十一至二十六章进入稳态分布的存在性、唯一性与收敛条件，最后四章则以一个贯穿性项目完成全流程演练。各模块之间存在明确的依赖关系：没有准确的状态定义，转移估计就失去意义；不理解常返性，就无法判断稳态分布是否存在。

贯穿课程实战项目介绍

为了让抽象理论落地，课程设置了一个贯穿始终的实战项目：设备健康状态监测与维护决策建模。项目对象是一台持续运行的工业设备，其健康状态被划分为四个等级：正常（N）、轻度降级（D1）、重度降级（D2）、故障（F）。我们假设通过历史运维记录统计得到各状态之间的日转移频次，并据此估计转移概率矩阵。例如，从正常状态出发，次日仍正常的频次为 860 次、转为轻度降级的频次为 120 次、转为重度降级为 18 次、直接故障为 2 次，合计 1000 次，则对应转移概率约为 0.86、0.12、0.018、0.002。需要说明的是，以上数据为教学示例的合理假设，并非真实设备实测结果。

围绕这个项目，课程将逐步完成以下任务：定义状态空间并论证马尔可夫性的合理性；从频次数据估计转移矩阵并检查每行归一化；计算多步转移矩阵观察状态演化；求解稳态分布以得到设备的长期状态占比；结合维护成本参数讨论何时介入维护最为经济。每一步都会给出可复现的计算过程和结果判读方法，而不是停留在概念描述。

学习目标与预备知识

完成本课程后，你应当能够：独立判断一个实际问题是否适合用马尔可夫链建模；正确构造状态空间与转移矩阵；熟练进行多步转移、首达时间和稳态分布的计算；理解并检验稳态分布的存在性与收敛条件；最终能够针对一个具体场景输出完整的建模分析结论。预备知识方面，需要掌握基本的概率论（条件概率、全概率公式）、线性代数（矩阵乘法、特征值概念）以及初步的编程能力（用 Python 或类似工具进行矩阵运算即可）。若对矩阵乘法尚不熟练，建议在进入第三章前先做一次复习。

马尔可夫链的魅力在于，它用极其简洁的“状态 + 转移”语言，刻画了大量看似复杂的随机现象。接下来的章节，我们将从最基础的状态与转移概念出发，一步步搭建起完整的分析与建模能力。