机器学习笔记18: 微分动态规划

上一节中我们介绍了一个特殊的MDP模型:线性二次型调节控制(LQR)。事实上很多问题都可以用LQR来解决,即使动态模型是非线性的。尽管LQR是一个非常漂亮的解决方案,但它还不够通用。我们以倒摆(inverted pendulum)问题为例来引出这一节的主题。倒摆问题的状态转换过程为:

其中函数F取决于角度的余弦值,显然这是一个非线性函数。那么我们的问题是:如何将该系统线性化处理?

动态模型的线性化

假设在t时刻,系统大部分时间都处于状态s-t,并且采取的行动在a-t附近。对于倒摆问题来说,当系统到达最优解时,很显然系统采取的行动范围很小,且不会偏离竖直方向太远。

我们将会使用泰勒展开(Taylor expansion)的方法将动态模型线性化。先考虑一个简单的场景,当状态是一维的并且状态转换函数F与行动无关,我们可以得到:

更一般地,当F是关于状态和行动的函数时,我们有:

所以st + 1是关于st和at的线性函数,这是因为我们可以把上式改写成:

其中κ是一个常数,A和B是矩阵。这种形式和我们之前在LQR中做的假设非常相似。

微分动态规划

当我们的目标是停留在某个状态s*附近时,上面介绍的方法可以很有效地解决。然而在某些情况下,目标会变得更为复杂。

假设我们的目标是遵循某条轨迹(trajectory),那么就需要用到微分动态规划(Differential Dynamic Programming (DDP))的方法了。这个方法会将轨迹按照时间片进行离散化,并为每个时间片建立中间目标。DDP的主要步骤如下:

步骤1: 选定标称轨迹(nominal trajectory),这个是对我们想要追随的轨迹的近似。

步骤2: 对每一个在s*t附近的轨迹线性化,即:

其中st和at是我们当前的状态和行动。既然我们现在有了当前点的线性近似,我们可以利用上一小节的结论将下一个状态改写成:

注意:我们也可以对奖励函数R(t)利用泰勒展开作类似的推导:

其中Hxy指的是R关于x和y在(st*, at*)处的Hessian矩阵。这个式子也可以被写成:

其中Ut和Wt是矩阵的形式。

步骤3: 现在我们证明了这个问题已经被转化成了LQR问题了,因此我们只需要用LQR的方法求解出最优策略πt

步骤4: 现在我们有了最优策略πt,我们用它来产生新的轨迹:

注意当我们生成新的轨迹时,我们应该用F而不是近似函数来计算下一个状态,也就是说:

计算出下一个状态后,我们再回到步骤2,不断重复这几步,直到收敛到某个值结束。

总结

  • LQR只适用于状态转换函数是线性的场景,当状态转换函数是非线性时,我们可以使用泰勒展开的方法做线性近似
  • 当大部分状态和行动在某个小的局部范围内,我们可以选择局部中心做线性近似
  • 当状态转换函数遵循某条轨迹时,可以使用微分动态规划(DDP)算法,其思想是在状态转换函数的多个点上依次做线性近似

参考资料

推荐阅读更多精彩内容