斯坦福大学AA274A课程：机器人自主性原理 | 2019年秋季学期 | 不确定性下的决策

（原标题：Stanford AA274A Principles of Robotic Autonomy | Autumn 2019 | Decision Making Under Uncertainty）

🎯 核心概述

本节内容系统阐述了在不确定性环境下进行高层决策的数学框架与算法基础，重点解析了马尔可夫决策过程（MDP）及其求解核心——动态规划（Dynamic Programming）。通过引入最优性原理，课程揭示了如何利用加性成本结构将复杂的顺序决策问题分解为可递归求解的子问题，从而避免组合爆炸。同时，内容深入探讨了从确定性模型向随机环境扩展的逻辑，分析了马尔可夫假设在闭环策略优化中的关键作用，并指出了动态规划在高维空间及模型缺失场景下的局限性。最后，课程引出了强化学习作为近似求解 MDP 的方法论，介绍了值函数逼近与策略空间近似两大技术路径，为处理现实世界中复杂、部分可观测的决策问题提供了理论支撑与实践方向。

📐 数学基础与最优性原理

• 模型构建：采用离散时间确定性动力学模型 $x_{k+1} = f(x_k, u_k)$，其中状态 $x$ 和控制输入 $u$ 随时间演化。成本函数具有加性结构，定义为阶段成本之和加上终端成本，这种结构是后续算法推导的前提。
• 开环与闭环的区别：传统优化生成固定的开环控制序列 $U^*$，一旦系统因扰动偏离预定轨迹，执行固定序列将导致非理性行为（如超速或碰撞）。因此，必须引入闭环反馈机制，即根据当前状态实时调整控制输入，形成从状态到控制的映射策略。
• 最优性原理：这是顺序决策领域的统一基础。该原理指出，最优路径的任意尾部子序列也是对应子问题的最优解。通过反证法证明：若存在更低成本的替代尾部，则原整体路径并非全局最优。这一性质允许算法复用已解决的子问题解，大幅降低计算复杂度。
• 逆向求解机制：动态规划基于最优性原理，从终端时刻向初始时刻（$k=0$）回溯计算“成本至去”（cost-to-go）函数。虽然实际执行时按时间正向推进，但策略推导需逆向进行。这种逆向递归避免了暴力枚举所有控制组合导致的组合爆炸，实现了高效求解。

📊 随机决策与马尔可夫假设

• 随机扰动处理：在存在随机扰动 $w_k$ 的系统中，目标从寻找开环控制序列转变为求解闭环控制策略。由于未来状态具有不确定性，算法需计算期望值下的最优代价，而非确定性的最小值。
• 马尔可夫性质：关键假设是扰动分布仅依赖当前状态与控制，不依赖历史轨迹。这一性质确保了问题可分解，使得期望值下的动态规划原理成立。若系统不具备马尔可夫性，或需考虑最坏情况、分位数风险等风险敏感指标，则超出标准动态规划范畴，需采用其他风险控制方法。
• 适用边界：动态规划依赖成本的可加性。若涉及轨迹全长约束或方差等非线性的风险敏感指标，各阶段之间存在非线性耦合，无法直接应用该框架。此外，部分可观测问题需引入信念状态（Belief State），进一步增加计算复杂度。

📦 库存控制算例与维度灾难

• 具体模型参数：以三时间步库存问题为例，状态 $x$ 受限于 $\le 2$；需求 $w$ 服从离散分布（10%概率为0，70%概率为1，20%概率为2）；成本包含订货费与库存持有费。该算例直观展示了如何在随机环境下通过贝尔曼方程逆向求解最优策略。
• 计算过程演示：通过对每个状态枚举可行控制并取期望最小值进行迭代。例如在 $t=2, x=0$ 时，经过计算得出最优控制为 $u=1$，对应成本 $J_2(0)=1.3$。这一过程验证了动态规划在处理离散随机系统时的有效性。
• 主要局限性：尽管动态规划理论完备，但在实际应用中面临三大诅咒：维度诅咒（状态组合指数增长导致内存与计算量爆炸）、建模诅咒（复杂分布难以解析或获取）及时间诅咒（在线重规划需求对实时性的挑战）。这些限制促使研究者转向近似方法。

🧠 强化学习核心框架

• 动态规划的扩展：强化学习旨在通过近似方法解决高维空间及模型部分缺失场景下的计算不可行性问题。在此视角下，强化学习并非独立主题，而是求解 MDP 的近似算法集合，特别适用于无法精确建模或状态空间巨大的情况。
• 两大主要路径：
• 值空间近似：使用代理函数（Surrogate）逼近最优成本至函数，以平衡即时成本与未来成本。这种方法关注于准确估计价值函数，进而导出策略。
• 策略空间近似：从受限的参数化策略类中选择策略，将函数优化问题转化为有限维参数优化问题。这种方法直接优化控制策略，适用于连续动作空间或复杂动力学系统。

🛠️ 值空间近似技术

• 问题简化策略：通过考虑具有共同特征的更简单问题（如使用简化的机器人动力学模型）来计算成本至函数。这种降维思想使得在复杂环境中仍能获得可用的近似解。
• 函数逼近器应用：利用神经网络等工具从数据中学习成本至函数的近似表达，这是当前研究中的热门方向。通过离线或在线数据训练，算法能够捕捉状态与价值之间的非线性关系，无需显式的系统模型。
• 状态聚合方法：将个体状态合并为宏观状态以降低维度；例如在特定地理范围内采取统一策略，而非针对精确坐标进行决策。这种抽象化手段有效缓解了维度灾难，提升了算法的泛化能力。

📅 课程安排与评估反馈

• 周四讲座调整：讲师因参加 NASA Ames 评审会议缺席，由助教讲授强化学习专题，深入探讨值空间近似与策略空间近似两种方法，以扩展随机优化应用范围。
• 周五项目演示：本周为课程最后一周，学生需完成最终项目展示，验证所学算法在特定场景下的有效性。
• 评估机制改革：工程学校引入额外实验性评估问卷，旨在消除传统评估中存在的偏差（如女性教授评分偏低、早间课程评分偏低等现象），确保反馈的客观性与公正性。
• 反馈要求：鼓励提供建设性意见，课程将根据往年反馈逐年调整内容，以持续优化教学体验与知识传递效率。

🚀 后续学术规划与建议

• 终身支持承诺：讲师表示课后将持续为学生提供关于机器人自主算法及职业发展的咨询协助，建立长期的学术联系与支持网络。
• 冬季进阶课程：计划与计算机科学教授合开实验性高级课程，涵盖人类意图推断、基于学习的感知与控制、验证与确认、移动操作等前沿技术，为有兴趣的学生提供深入探索的机会。
• 学习建议：尽管当前课程涉及复杂的软件基础设施和硬件调试（如 Python 脚本），但应着眼于长期收益而非即时困难。掌握这些底层逻辑与工程实践是应对未来复杂决策问题的关键，应将其视为有价值的学习机会而非单纯的负担。