领域随机化原理：随机化参数范围、分布设计、对策略鲁棒性的影响
说实话，领域随机化（Domain Randomization, DR）是我在仿真到现实迁移中最喜欢的一个技巧。它思路简单，效果却出奇的好。我第一次接触这个概念是在2017年，当时看到那篇用DR训练机械臂抓取方块的文章，心里就想：这招太聪明了。
它的核心思想是什么？说白了就是：既然仿真和现实之间有差距，那我就在仿真里把各种参数都随机化，让策略见过足够多的“世界”，到了真实环境自然就不慌了。你想想看，如果策略只在一种光照、一种纹理、一种物理参数下训练过，到了现实世界稍微变一点就崩了。但如果它见过成千上万种不同的环境，现实中的那点变化对它来说根本不算什么。
核心洞察：领域随机化不是让仿真变得更像现实，而是让仿真覆盖更广的“世界分布”，使得现实世界成为这个分布中的一个样本。
3.1 随机化参数的范围设计
参数范围怎么定？这是我在项目中踩过最多坑的地方。范围太小，策略泛化能力不够；范围太大，策略可能学不到有效信息，直接摆烂。
我个人习惯把参数分成三类：
| 参数类别 | 典型参数 | 范围设计原则 |
|---|---|---|
| 视觉参数 | 光照强度、颜色偏移、纹理、相机位置、镜头畸变 | 覆盖真实环境可能出现的极端情况，比如白天/黑夜、不同材质的表面 |
| 物理参数 | 摩擦力、质量、惯性、关节阻尼、弹性系数 | 以真实值为中心，向两侧扩展1.5~3倍，保证策略能适应制造公差 |
| 环境参数 | 物体初始位置、随机噪声、动态干扰、地形起伏 | 覆盖任务中可能出现的所有空间配置，包括边界情况 |
举个例子。我在做机器人抓取项目时，摩擦力的范围设成了[0.2, 1.5]。为什么是这个范围？因为真实抓取中，橡胶指套和金属表面的摩擦系数大约在0.5~0.8之间。但我考虑到可能有油污、可能有不同材质的物体，所以往两边都扩了一些。结果证明这个范围是合理的——策略在真实环境中一次都没滑脱过。
我的经验：参数范围不要拍脑袋定。先做一轮真实环境的数据采集，看看关键参数的实际分布范围，然后在这个基础上向外扩展30%~50%。这叫“基于真实分布的随机化”，比纯靠直觉靠谱得多。
3.2 分布设计：均匀分布还是正态分布？
范围定好了，接下来就是分布形状。这里有个常见的误区：很多人觉得均匀分布最好，因为覆盖最全面。但我在实践中发现，均匀分布有时候反而会害了策略。
为什么会这样？你想想看，如果所有参数都取均匀分布，那策略在训练时会看到大量极端情况。比如摩擦力同时取到最小、质量同时取到最大、光照同时取到最暗……这些组合在现实中几乎不可能出现。策略为了应付这些极端组合，可能会学到一些奇怪的“妥协策略”，反而在常见情况下表现不佳。
我建议的分布设计原则：
- 核心参数用正态分布：比如摩擦力、质量这些直接影响动力学的参数。均值设在真实值附近，标准差覆盖制造公差和测量误差。这样策略大部分时间看到的是“正常”情况，偶尔看到极端情况。
- 视觉参数用均匀分布：光照、纹理、颜色这些，因为真实环境的变化往往不可预测，均匀分布能让策略见过足够多的视觉变化。
- 位置参数用截断正态分布：物体初始位置、目标位置等。在合理范围内用正态分布，但截断掉完全不可能出现的区域，避免浪费训练资源。
# 我常用的参数采样配置示例
import numpy as np
def sample_dr_params():
params = {}
# 物理参数：正态分布，均值在真实值附近
params['friction'] = np.random.normal(loc=0.6, scale=0.15)
params['friction'] = np.clip(params['friction'], 0.2, 1.2)
# 视觉参数：均匀分布，覆盖极端情况
params['light_intensity'] = np.random.uniform(0.3, 1.5)
params['texture_noise'] = np.random.uniform(0.0, 0.3)
# 位置参数：截断正态
params['obj_x'] = np.random.normal(loc=0.0, scale=0.05)
params['obj_x'] = np.clip(params['obj_x'], -0.15, 0.15)
return params
避坑指南：我曾经在一个项目中把所有参数都用了均匀分布，结果策略在仿真里表现很好，到了真实环境反而比基线还差。后来分析发现，策略学会了“利用极端参数组合下的漏洞”，而不是真正的鲁棒策略。从那以后，我对分布设计就格外小心了。
3.3 对策略鲁棒性的影响
领域随机化到底怎么影响策略的鲁棒性？我画了一张图来说明这个问题。
从这张图可以看得很清楚。没有随机化时，策略就像个“书呆子”，只会做它见过的题。有了随机化，策略学会了“解题思路”，而不是“背答案”。
3.4 随机化策略的进阶技巧
基本的随机化方法讲完了，我再分享几个我在项目中用过的进阶技巧。
渐进式随机化：一开始随机化范围设得很小，让策略先学会基本任务。随着训练进行，逐步扩大随机化范围。这样做的好处是训练更稳定，策略不会一开始就被各种极端情况搞懵。
自适应随机化：根据策略当前的表现动态调整随机化范围。如果策略在某个参数范围内表现很好，就扩大这个范围；如果表现很差，就缩小范围。有点像课程学习（Curriculum Learning）的思路。
随机化域对齐：在随机化的同时，加入一个域判别器，让策略学到的特征对随机化参数不敏感。这其实是领域随机化和对抗训练的结合，效果往往更好。
我的建议：如果你刚开始做Sim-to-Real，先从基本的均匀随机化开始，把参数范围调好。等基础打牢了，再尝试这些进阶技巧。别一上来就搞太复杂，容易翻车。
3.5 实际项目中的避坑指南
最后，我总结几个我在项目中踩过的坑，希望能帮你少走弯路。
- 别随机化所有参数：有些参数对任务影响很小，随机化了反而增加训练难度。比如在抓取任务中，物体的颜色对抓取成功率影响不大，没必要随机化。
- 注意参数之间的相关性：比如摩擦力和质量同时随机化时，要保证它们的组合在物理上是合理的。我曾经把摩擦力和质量都设成独立均匀分布，结果出现了“很轻的物体摩擦力极大”这种物理上不可能的情况，策略学了一堆奇怪的行为。
- 验证随机化范围：训练完成后，在仿真里用固定参数测试一遍，看看策略在不同参数下的表现。如果某个参数范围内表现突然变差，说明随机化范围可能太大了。
- 别忘了随机化时序参数：比如控制频率、传感器延迟、通信延迟等。这些参数在真实环境中往往有波动，如果不随机化，策略到了真实环境可能会因为时序问题表现不佳。
我曾经踩过的一个大坑：在一个无人机避障项目中，我把所有视觉参数都随机化了，但忘了随机化无人机的动力学参数。结果策略在仿真里飞得特别好，到了真实环境因为风阻和电机响应延迟，直接撞墙了。从那以后，我每次做随机化都会列一个清单，确保所有关键参数都覆盖到了。
领域随机化看起来简单，但要做好其实不容易。参数范围、分布设计、随机化策略的选择，每一步都需要仔细权衡。不过一旦调好了，效果是真的香。我见过太多项目，加了领域随机化之后，Sim-to-Real的成功率从20%直接飙到80%以上。