基于神经网络的强化学习：数学细节

外来客 • 2026-08-25 17:58:33

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

（原标题：Reinforcement Learning with Neural Networks: Mathematical Details）

策略梯度法原理：在无法预知环境反馈（如薯条份量）时，无法使用标准反向传播。需通过“猜测”行动，利用交叉熵量化理想概率与实际输出概率的差异，计算偏置项的导数。
奖励修正机制：导数方向基于“猜测正确”的假设。若实际奖励为负（猜测错误），需将导数乘以负奖励值，从而翻转梯度方向，确保参数更新指向正确方向。
数学推导链条：利用链式法则，将交叉熵对偏置的导数分解为三部分：交叉熵对网络输出的导数、Sigmoid 函数对输入的导数、输入对偏置的导数。

交叉熵定义：针对特定目标（如去 Squatch），交叉熵为 $-\log(P_{target})$。由于网络输出为 $P_{norm}$，需转换为 $-\log(1 - P_{norm})$。
Sigmoid 导数推导：
初始形式：$\frac{1}{1 + e^{-x}}$ 的导数。
推导过程：利用幂法则和链式法则，最终化简为 $P_{norm}(1 - P_{norm})$ 或等价形式。
关键结论：Sigmoid 函数的导数等于其输出值乘以（1 减去输出值）。
最终导数公式：
若目标为 Squatch：导数为 $\frac{1}{1 - P_{norm}} \times P_{norm}(1 - P_{norm}) \times 1 = P_{norm}$。
若目标为 Norm：导数为 $-\frac{1}{P_{norm}} \times P_{norm}(1 - P_{norm}) \times 1 = -(1 - P_{norm})$。
注意：此处推导中，$x$ 对偏置 $B$ 的导数为 1。