VIP20

本课程属于：007-决策算法 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零搭建决策算法仿真验证

📚 共计 30 章节

课程导论与仿真环境搭建

决策算法仿真验证的意义、课程整体架构、Python + NumPy + Matplotlib 环境安装与验证。

环境配置导论

基础数学工具回顾

向量与矩阵运算、概率论基础（随机变量、期望、方差）、用 NumPy 实现基础运算。

仿真核心概念

时间步进机制、状态空间与动作空间、仿真循环的基本框架。

第一个仿真器：Grid World

搭建一个简单的 Grid World 环境，定义状态、动作、转移函数与奖励函数。

仿真器实践

策略与价值函数

策略的定义、状态价值函数 V(s) 与动作价值函数 Q(s,a) 的数学定义与代码实现。

价值函数策略

通过动态规划迭代计算给定策略下的价值函数，代码实现与收敛性分析。

动态规划评估

策略迭代算法

策略评估与策略改进的交替进行，实现 Grid World 的最优策略求解。

策略迭代最优

值迭代算法

从最优贝尔曼方程出发，直接迭代计算最优价值函数，并与策略迭代对比。

值迭代贝尔曼

蒙特卡洛方法

基于完整轨迹的蒙特卡洛预测，首次访问与每次访问 MC，代码实现。

蒙特卡洛采样

时序差分学习

TD(0) 算法原理，结合 Grid World 实例进行在线学习。

同策略 TD 控制算法，在仿真环境中实现 SARSA 并观察学习过程。

Q-Learning 算法

异策略 TD 控制算法，实现 Q-Learning 并与 SARSA 对比分析。

Q-Learning异策略

探索与利用的平衡

ε-贪婪策略、UCB 策略、Softmax 策略的原理与代码实现。

函数逼近入门

为什么需要函数逼近？线性函数逼近与特征工程。

函数逼近特征

深度 Q 网络（DQN）基础

神经网络简介、用 PyTorch 搭建简单的 Q 网络。

DQN 的关键技巧

经验回放（Replay Buffer）与目标网络（Target Network）的实现。

经验回放目标网络

DQN 在 CartPole 环境中的应用

使用 Gym 搭建 CartPole 仿真，训练 DQN 智能体。

策略梯度方法基础

从价值函数到策略梯度，REINFORCE 算法的推导与实现。

策略梯度REINFORCE

Actor-Critic 架构

结合价值函数与策略梯度，实现简单的 A2C 算法。

Actor-CriticA2C

多臂老虎机问题

经典探索-利用问题，实现 UCB 与 Thompson Sampling 算法。

多臂老虎机UCB

仿真结果可视化

使用 Matplotlib 绘制学习曲线、价值函数热力图、策略可视化。

可视化Matplotlib

仿真日志与调试

记录训练日志、超参数管理、常见 bug 与调试技巧。

仿真性能优化

向量化运算、并行仿真环境、使用 Numba 加速。

连续动作空间

连续动作的挑战、确定性策略梯度（DPG）简介。

连续动作DPG

深度确定性策略梯度算法在连续控制任务中的实现。

DDPG连续控制

仿真平台扩展

从 Grid World 到更复杂的仿真环境（如自动驾驶决策仿真）。

扩展自动驾驶

仿真验证方法论

如何设计实验、统计显著性检验、结果复现性保证。

方法论统计

项目实战：路径规划决策

基于仿真验证的路径规划决策算法（如 DQN 在迷宫导航中的应用）。

多智能体仿真验证基础

简单追逐游戏中的多智能体决策。

多智能体追逐

课程总结与未来展望

仿真验证的局限性、前沿方向（离线强化学习、世界模型）与学习资源推荐。