1. 课程导入与协同工程全景

在嵌入式智能设备上,我们常常同时面对两套逻辑:一套是运行在设备上的端侧模型,它负责感知、识别、预测与决策;另一套是设备状态机,它负责约束设备在什么条件下能做什么、不能做什么。端侧模型与设备状态机协同工程,研究的正是如何让这两套逻辑在资源受限、实时性敏感、安全边界明确的设备上稳定配合,而不是各自为政。

先明确边界。端侧模型通常指部署在设备本地、不依赖云端推理的模型,例如关键词唤醒、手势识别、异常振动检测、图像分类等。它的输出往往是概率、置信度、类别标签或回归值。设备状态机则描述设备的工作模式与迁移条件,例如待机、自检、运行、暂停、故障、升级等状态,以及触发迁移的事件、条件和动作。协同工程不是把模型塞进状态机,也不是让状态机简单调用模型,而是定义两者之间的接口、时序、权限与降级策略。

核心挑战可以归纳为四类:第一,资源约束,模型推理占用CPU、内存与功耗,状态机必须知道何时允许推理、何时必须让路;第二,时序不确定性,模型推理耗时波动,状态机不能因为一次推理超时就永久卡死;第三,置信度与安全边界,模型输出“可能有人”不等于“必须开门”,状态机需要结合置信度阈值、传感器冗余与安全规则做最终裁决;第四,可观测性与可维护性,模型版本、状态迁移、异常事件必须能被记录和回放,否则现场问题无法定位。

典型应用场景包括:智能门锁的人脸识别与开锁状态机协同,扫地机器人的障碍物识别与运动状态协同,工业电机的振动异常检测与保护状态协同,以及可穿戴设备的手势识别与低功耗状态协同。这些场景的共同点是:模型提供“感知建议”,状态机提供“执行约束”,两者之间需要一条清晰的信号链。

端侧模型与设备状态机协同信号链 感知建议 → 仲裁裁决 → 状态迁移 → 执行动作 → 反馈闭环 传感器输入 麦克风 / 摄像头 / IMU 振动 / 温度 / 电流 端侧模型 推理输出:类别 / 置信度 耗时:8~45 ms(示例) 内存:约 120 KB(示例) 协同仲裁器 置信度阈值 ≥ 0.85 安全规则 / 冗余校验 超时降级 / 权限裁决 设备状态机 待机 → 自检 → 运行 暂停 / 故障 / 升级 迁移条件与动作 执行动作 开锁 / 停机 / 报警 调速 / 切换模式 执行反馈 成功 / 失败 / 超时 状态回写与日志 原始数据 推理结果 裁决事件 动作指令 结果 状态回写 / 日志记录 协同工程四条关键约束 资源约束 推理窗口 / 功耗预算 时序约束 超时降级 / 看门狗 安全约束 阈值 / 冗余 / 权限 可观测约束 日志 / 回放 / 版本

上图给出了一条完整的协同信号链:传感器输入进入端侧模型,模型输出类别与置信度;协同仲裁器结合阈值、安全规则与超时策略,决定是否向状态机发出裁决事件;状态机根据当前状态和迁移条件,决定是否执行动作;执行结果再回写状态机并记录日志,形成闭环。图中标注的“8~45 ms”“120 KB”“置信度 ≥ 0.85”均为教学示例参数,实际项目需根据芯片型号、模型大小和实时性要求重新标定。

整体学习路线可以按“先边界、再接口、后闭环”展开。第一阶段理解端侧模型的基本形态与部署约束,包括模型量化、算子裁剪、内存占用与推理耗时评估;第二阶段掌握设备状态机的建模方法,包括状态、事件、迁移、动作与守卫条件;第三阶段进入协同接口设计,重点解决模型输出如何映射为状态机事件、置信度如何参与守卫条件、推理超时如何降级;第四阶段做闭环验证,通过日志回放、故障注入和边界测试,确认协同逻辑在异常场景下仍然安全。

学习本课程时,建议始终带着三个问题:模型输出是什么格式?状态机当前允许什么?两者不一致时谁优先?把这三个问题回答清楚,协同工程就有了可落地的起点。