2. 具身智能基础：感知-决策-控制闭环、Sim-to-Real迁移、具身智能与大模型结合
各位同学，欢迎来到第二章。这一章我们聊聊具身智能的底层逻辑。
很多人觉得具身智能就是「机器人+AI」，其实没那么简单。它更像一个闭环系统——机器人通过传感器感知环境，大脑做决策，身体执行动作，然后感知新的状态。这个循环每时每刻都在发生。
我个人习惯把这一章分成三块：感知-决策-控制闭环、Sim-to-Real迁移、以及大模型怎么和具身智能结合。这三块是递进关系，也是你后面做仿真联调的基石。
2.1 感知-决策-控制闭环
先看这个闭环。说白了，就是机器人怎么「看」、怎么「想」、怎么「动」。
核心公式：具身智能 = 感知(Perception) + 决策(Planning/Reasoning) + 控制(Control)
我在项目中遇到过不少同学，把感知和控制割裂开。结果呢？感知模块跑得挺好，控制模块也正常，但一联调就崩。为什么？因为闭环里任何一个环节的延迟或误差，都会被放大。
2.1.1 感知层
感知不只是「识别出这是一张桌子」。在具身智能里，感知要回答三个问题：
- What：这是什么物体？类别、属性。
- Where：它在哪？位置、姿态、相对于机器人的坐标。
- How：它能不能被操作？抓取点在哪？会不会滑动？
嗯，这里要注意。很多开源感知模型只输出2D bounding box，但人形机器人需要3D信息。我建议你从一开始就用RGB-D相机或激光雷达，别省这个钱。
2.1.2 决策层
决策层是大脑。它接收感知信息，输出动作序列。常见的方法有两种：
| 方法 | 特点 | 适用场景 |
|---|---|---|
| 基于规则 | 硬编码状态机，可解释性强 | 结构化环境（如工厂流水线） |
| 基于学习 | RL/IL，泛化性好 | 非结构化环境（如家庭、户外） |
我个人更倾向混合方案。先用规则兜底，再用学习模型做微调。你想想看，如果纯用RL，训练时机器人摔坏了怎么办？
2.1.3 控制层
控制层把决策变成电机指令。这里有个经典问题：轨迹跟踪 vs. 力控。
- 轨迹跟踪：让机器人严格按照规划路径走。适合移动底盘。
- 力控：根据接触力调整动作。适合抓取、装配。
人形机器人两者都需要。我曾经在调双足行走时，只用了位置控制，结果机器人一碰到不平地面就倒。后来加了阻抗控制，才稳下来。
避坑指南：闭环的延迟是关键。我曾经见过一个项目，感知帧率30Hz，控制帧率100Hz，中间没做同步。结果机器人动作总是慢半拍。解决办法：要么降控制帧率，要么加预测模块。
2.2 Sim-to-Real迁移
Sim-to-Real，简称S2R。说白了，就是在仿真里训练，然后部署到真机上。
为什么需要S2R？因为真机训练太贵了。摔一次几千块，摔几次项目经费就没了。仿真里随便摔，重置一下就行。
2.2.1 核心挑战：仿真与现实的差距
仿真永远不是现实。差距主要来自：
- 物理参数不匹配：摩擦力、质量、弹性系数，仿真里设的和现实不一样。
- 传感器噪声：仿真里的传感器是完美的，现实里有噪声、延迟、丢包。
- 环境变化：仿真环境是固定的，现实里光照、温度、地面材质都在变。
2.2.2 常用迁移方法
我总结了几种主流方法，你可以根据项目选：
| 方法 | 原理 | 我的评价 |
|---|---|---|
| 域随机化 | 训练时随机化物理参数，让策略适应各种情况 | 简单有效，但参数范围难调 |
| 系统辨识 | 先标定真机参数，再同步到仿真 | 精度高，但标定过程繁琐 |
| 对抗训练 | 用GAN让仿真数据更像真实数据 | 效果好，但训练不稳定 |
注意：域随机化不是万能的。我曾经试过把摩擦系数随机范围设得太大，结果策略在仿真里学会了「滑行」，到了真机上根本走不了路。建议从物理合理的范围开始，逐步扩大。
2.2.3 我的S2R工作流
我个人习惯按这个流程走：
- 仿真训练：在MuJoCo或Isaac Gym里训练策略，加入中等程度的域随机化。
- 离线评估：用录制的真实传感器数据回放，看策略输出是否合理。
- 真机小规模测试：先做简单动作（如原地踏步），再逐步增加复杂度。
- 在线微调：收集真机数据，用RL或IL微调策略。
嗯，这里要注意。第三步和第四步之间，我建议加一个安全监控模块。一旦检测到关节力矩超限或姿态异常，立即停机。别问我怎么知道的。
2.3 具身智能与大模型结合
这是2023年之后最火的方向。大模型（LLM/VLM）给具身智能带来了什么？说白了，就是常识推理能力。
以前的机器人只能执行预设指令。现在，你可以说「帮我把桌上的苹果拿过来」，大模型能理解「苹果」是什么、「桌子」在哪、「拿」这个动作怎么做。
2.3.1 大模型在闭环中的位置
大模型通常放在决策层，但也可以辅助感知和控制：
- 感知辅助：VLM可以识别开放词汇的物体，不限于预设类别。
- 任务规划：LLM把自然语言指令分解为子任务序列。
- 代码生成：LLM直接生成控制代码或API调用。
一个典型流程：
用户说「把杯子放到洗碗机里」 → VLM识别杯子和洗碗机位置 → LLM规划「走过去→抓取→移动到洗碗机→放入」 → 底层控制器执行。
2.3.2 常见架构
目前主流的有三种：
| 架构 | 代表工作 | 优点 | 缺点 |
|---|---|---|---|
| 端到端 | RT-2, PaLM-E | 统一模型，无需中间表示 | 数据需求大，可解释性差 |
| 分层式 | SayCan, Code as Policies | 模块化，可调试 | 接口设计复杂 |
| 混合式 | VoxPoser, LLM+P | 兼顾灵活性和可靠性 | 系统复杂度高 |
我个人倾向分层式。原因很简单：出了问题你知道是LLM错了还是控制器错了。端到端模型一旦出错，你根本不知道从哪改。
2.3.3 避坑指南
大模型不是万能的。我在项目中遇到过几个坑：
- 幻觉问题：LLM会编造不存在的物体或动作。比如让它「把书放到书架上」，它可能说「书架在卧室」，但实际书架在客厅。
- 实时性：大模型推理慢。一个LLM调用可能几百毫秒，但控制周期是几毫秒。解决方案：用缓存或异步调用。
- 安全性：大模型可能生成危险指令。比如「从二楼跳下去」。一定要加安全过滤器。
我的建议：大模型做高层规划，底层控制交给传统方法。别让大模型直接输出关节角度，它没那个精度。
2.4 本章知识体系
下面这张图总结了本章的核心逻辑。你可以把它当作一个思维导图，后面做项目时随时回来对照。
这张图里，闭环是核心。感知、决策、控制三者缺一不可。Sim-to-Real和大模型是两把「利器」，帮你把仿真里的策略搬到真机上，并赋予机器人更智能的行为。
本章要点回顾：
- 感知-决策-控制闭环是具身智能的骨架，每个环节都要考虑延迟和误差。
- Sim-to-Real迁移的核心是缩小仿真与现实的差距，域随机化是最实用的方法。
- 大模型给机器人带来了常识推理能力，但要注意幻觉、实时性和安全性问题。