系列论文阅读——Policy Gradient Algorithms and so on(3)

从DPG到D4PG

前文提到的AC算法，策略函数 $\pi_\theta(.|s)$ 表示的是，在当前状态 $s$ 下，动作空间的概率分布，然后通过采样选择动作，即策略是随机不确定的。那可否在连续动作空间内像DQN一样采取确定性策略呢？

答案是可以的，我们将策略公式化为： $a = \mu_\theta(s)$ ，在当前策略下的状态概率分布服从密度函数为 $\rho_\mu$ 。

以critic 为 Q函数为例，此时的动作是确定的，因此不需要再针对 $\pi_\theta$ 做期望，可以直接用 $Q_\mu(s,\mu_\theta(s))$ 估计累计回报，目标函数为：
$\begin{aligned} J(\theta) &= \int _{s \sim \rho_\mu}\rho_\mu(s)Q(s,\mu_\theta(s))d s \\ &= E_{s\sim \rho_\mu}Q(s,\mu_\theta(s)) \end{aligned}$
根据链式法则求出它的梯度是：
$\begin{aligned} \nabla_\theta J(\theta)&=\int_{s\sim \rho_\mu} \rho_\mu(s)\nabla _aQ_\mu(s,a)\nabla_\thetaμ_\theta(s)|_{a=μ_θ(s)}ds\\ &=E_{s\sim\rho_\mu}\left[\nabla_aQ_\mu(s,a)\nabla_\theta\mu_\theta(s)|_{a=\mu_\theta(s)}\right] \end{aligned}$
原先的算法，如果不考虑重要性采样，每次更新完策略后，之前的经验就都必须扔掉了，因此必须on-policy。现在，没有了 $\pi(.|s)$ ，我们可以像在DQN一样，使用经验回放来改进网络难收敛的问题——深度确定性策略梯度算法(DDPG)就是将AC算法和DQN结合的算法。

DDPG

网络结构

类比于Double DQN,DDPG有4个网络：
$actor \begin{cases} online: \mu(s|\theta^{\mu}) : gradient更新\theta^{\mu} ，根据当前状态s_t选择动作a_t,与环境交互生成s_{t+1},r_{t+1}\\ target: \mu^{\prime}(s|\theta^{\mu^{\prime}}) : soft \ update \ \theta^{\mu^{\prime}},根据经验池采样到的经验中的s_{t+1}，得到a_{t+1} \end{cases}$
$critic \quad \begin{cases} online: Q(s,a|\theta^{Q}) : gradient更新\theta^{Q} \\ target : Q^{\prime}(s,a|\theta^{Q^{\prime}}) :soft \ update \ \theta^{Q^{\prime}} \end{cases}$

创新点

加入噪声：相似于Q-learning中的 $ϵ−greedy$ ，探索的时候，为了增加探索性，在behavior网络输出的策略上添加噪声：
$μ′(s)=μ_θ(s)+\mathcal{N}$

在论文中作者适用了Ornstein-Uhlenbeck 噪声，TD3算法中则用了简单的高斯噪声。并且TD3作者提到使用OU替换高斯后，效果并没有提升。那么加入OU噪声到底好不好呢？什么时候用OU噪声？

因为OU噪声是自相关，后一步受前一步影响，而高斯则是完全独立，这意味着OU噪声不会像高斯噪声那样出现相邻两个step的值差别特别大的情况，而是会绕着均值附近正向反向探索一段距离，因此，更适合惯性系统，同时，它也起到了保护机械臂的作用。更多介绍可以查看这里

软更新 ：DDPG中对actor 和critic 的目标网络参数采用的实时软更新：
$\theta' = \tau \theta' + (1-\tau)\theta$
批标准化:解决state的不同特征具有不一样的量纲和数据范围的问题。
DDPG算法过程

DDPG算法过程

不是DDPG的训练技巧

在实践中，我的DDPG训练到后来就只输出边界值，查阅资料看到以下炼丹建议：

1.调整action空间

2.降低网络复杂度，减少神经元数量和网络层次

3.状态归一化 & reward rescale & clipping

4.在激活函数前面加入批标准化层

最后，我还是在大佬的建议下改用TD3（🤦‍♀️）

TD3 改进

针对DQN中max操作带来的过估计问题，DDQN采用了两个值网络将动作选择和Q值更新进行解耦，使用behavior net 选择出最大value最大的next action,并且用target net来估计它的值：

DDPG一样面临过估计问题，如果直接使用DoubleDQN的方法，由于策略变化过于缓慢，当前和目标值函数估计很接近，效果不明显。 Fujimoto 提出了双延迟深度确定性策略梯度方法。他的改进在三方面：

截断双Q学习：学习两个Q函数，这两个Q网络共用经验池，参数更新时，使用其中值小的来避免过估计问题:
$\begin{aligned} y_t &= r_{t+1} + \gamma \min_{i=1,2}Q_{w_i}(s_{t+1}, \mu_{\theta'}(s_{t+1})) \end{aligned}$
论文中使用了1个actor（ $\mu_{\theta'}$ ）来参与目标 $y$ 的计算是为了降低计算量。
延迟更新：如果actor 和 critic 同步更新，存在这么个问题：策略不怎么好时，由于过估计导致了价值估计的偏差，而在价值估计不准确时，又导致了策略可能往不好的方向走。最坏的情况时，策略困在了较差的局部最优。因此作者降低了更新策略函数和目标网络的频率，每隔两个critic soft更新T次后，critic网络的td error 较小时,再对actor和target critic net进行一次更新：
$\theta' = \tau \theta + (1-\tau) \theta'$
目标策略平滑：出于一个很直接的想法：相似的动作，应该有着相近的Q值。因此在目标策略网络所选动作中添加少量经过截断的随机噪声 $\epsilon$ :
$y = r + \gamma Q_{w'}(s_{t+1},\pi_{\theta}(s_{t+1})+\epsilon)\\\epsilon \sim clip(\mathcal{N}(0,σ),−c,+c)$
通过引入这种噪声，Q值在 $\pi(s_{t+1})$ 附近一小片区域的值都是平滑的，减少了误差的产生。

算法整体过程为：

TD 3

D4PG改进

D4PG（Distributed Distributional DDPG）像是博采众长，更新在4方面：
（1）Distributional:这里的Distributional 指的是，critic网络中采用和C51中的Distributional value function，critic 估计的不是Q值期望值，而是去估计期望Q值的分布。
（2）Distributed：使用多个actor 并行的收集样本存入经验池中。
（3）优先经验回放：使用一个非均匀的概率从经验池中进行采样。
（4）n-return:使用n-step TD误差这样可以减少更新的方差。

D4PG.png