强化学习之策略学习

策略学习的意思是通过求解一个优化问题，学出最优策略函数或它的近似（比如策略网络）。

首先把策略学习描述成一个最大化问题。

推导策略梯度

利用不同的方法近似策略梯度，得到两种训练策略网络的方法

策略网络

策略函数 π 是个条件概率质量函数

$π(a|s) = P(A=a|S=s)$

输入状态的动作，输出一个0-1之间的概率值。我们在每一个状态s下,利用策略函数计算每个动作的概率值，然后随机抽样得到动作a，让Agent执行动作a。

如何得到这样一个策略函数？

最有效还是用神经网络去近似π函数，这样的神经网络称为策略网络。

θ 表示神经网络的参数；一开始随机初始化 θ，随后利用收集的状态、动作、奖励去更新 θ。

策略网络的目标函数

复习一些基本内容

回报 Ut 是从 t 从时刻开始的所有奖励之和。Ut 依赖于 t 时刻开始的所有状态和动作：

$S_t, A_t, S_{t+1}, A_{t+1}, S_{t+2}, A_{t+2}, ·· \\ U_t = r_t+r_{t+1} + ....$

在 t 时刻，Ut 是随机变量，它的不确定性来自于未来未知的状态和动作。

动作价值函数的定义是：

$Q_π(s,a)=E[U_t|S_t = s_t,A_t = a_t]$

条件期望把 t 时刻状态 st 和动作 at 看做已知观测值，把 t + 1 时刻后的状态和动作看做未知变量，并消除这些变量。

状态价值函数的定义是:

$V_π(s_t) = E[R_t|S_t = s_t]$

状态价值既依赖于当前状态 st，也依赖于策略网络 π 的参数 θ。

当前状态 st 越好，则 Vπ(st) 越大，也就是回报 Ut 的期望越大。
策略 π 越好（即参数 θ 越好），那么 Vπ(st) 也会越大。

对于一个好的策略π ，其对所有的状态S，状态价值Vπ(st)的均值都应该很大

所以我们定义目标函数：

$J(θ) = E[V_π(S)]$

所以问题就转化为求解 θ，使得 J(θ) 最大。

策略梯度方法

具体的证明略，只说其思想及结论。

已知要求解策略目标函数，就是要求出最大化J(θ)的θ。

于是利用J(θ)对θ求导，得到dJ(θ)/dθ，称作策略梯度。

近似策略梯度

有了策略梯度以后，但是还是解不出这个期望，所以得用一些方法去近似求解策略梯度中的期望。

比如之前在Q-Learning中就使用了蒙特卡洛近似去求解Q*。

有了随机梯度之后，我们可以用随机梯度上升来更新θ，使目标函数 J(θ)逐渐增长：

$θ ← θ + β · g(s, a; θ)$

用实际观测值s,a去近似S和A，这样还不够，我们计算不出来g(s, a; θ)，因为我们不知道动作价值函数Qπ(s,a)。

在对动作价值函数Qπ(s,a)求近似：

使用实际观测的回报u，近似Qπ(s,a) —— REINFORCE
使用神经网络q(s,a;w)，近似Qπ(s,a) —— Actor-Critic

REINFORCE

简单推导

训练流程

Actor-Critic

Actor-Critic 方法中用一个神经网络近似动作价值函数 Qπ(s, a)，这个神经网络叫做 “价值网络”，记为 q(s, a; w)，其中的 w 表示神经网络中可训练的参数。价值网络的输入是状态 s，输出是每个动作的价值。

价值网络 q(s, a; w) 与之前学的 DQN 有相同的结构，但是两者的意义不同，训练算法也不同。

价值网络是对动作价值函数 Qπ(s, a) 的近似。而 DQN 则是对最优动作价值函数 Q*(s, a) 的近似。
对价值网络的训练使用的是 SARSA 算法，它属于同策略，不能用经验回放。对 DQN 的训练使用的是 Q 学习算法，它属于异策略，可以用经验回放。

简单推导

Actor-Critic 翻译成“演员—评委”方法。策略网络 π(a|s; θ) 相当于演员，它基于状态 s 做出动作 a。价值网络 q(s, a; θ) 相当于评委，它给演员的表现打分，量化在状态 s 的情况下做出动作 a 的好坏程度。

为什么不直接把奖励 R 反馈给策略网络（演员）？

需要注意的是：策略学习的目标函数 J(θ) 是回报 U 的期望，而不是奖励 R 的期望；注意回报 U 和奖励 R 的区别。虽然能观测到当前的奖励 R，但是它对价值网络是毫无意义的；训练策略网络（演员）需要的是回报 U，也就是未来所有奖励的加权和。价值网络（评委）能够估算出回报 U 的期望，因此能帮助训练策略网络（演员）。

训练策略网络（演员）