分位数回归

本文链接个人站 | 简书 | CSDN
版权声明:除特别声明外,本博客文章均采用 BY-NC-SA 许可协议。转载请注明出处。

Z 表示一个随机变量,其概率密度函数为 f(z),累积分布函数为 F(z)。定义函数
L(Z, \hat Z)=\rho\cdot\max(Z-\hat Z, 0)+(1-\rho) \cdot \max(\hat Z-Z, 0)

其中 \hat Z\in \mathbb R\rho\in(0,1)。求使得 L(Z,\hat Z) 的期望最小的 \hat Z 的取值。

L(Z,\hat Z) 的期望为
\begin{aligned} \mathbb{E}[L(Z,\hat Z)] &= \int_{-\infty}^{+\infty}L(z,\hat Z)f(z)\mathrm dz\\ &= \rho\int_{\hat Z}^{+\infty}(z-\hat Z)f(z)\mathrm dz + (1-\rho)\int_{-\infty}^{\hat Z}(\hat Z - z)f(z)\mathrm dz \end{aligned}


\begin{aligned} \frac{\partial \mathbb{E} [L(Z,\hat Z)]}{\partial \hat Z} &= 0\\ &=-\rho\int_{\hat Z} ^{+\infty}f(z)\mathrm dz+(1-\rho)\int_{-\infty}^{\hat Z}f(z)\mathrm dz\\ &=-\rho[1-F(\hat Z)]+(1-\rho)F(\hat Z)\\ &=F(\hat Z)-\rho \end{aligned}
解得
\hat Z^*=F^{-1}(\rho)

即使得 L(Z,\hat Z) 的期望最小的 \hat Z 的取值为 Z\rho 分位数。

DeepAR 等模型中,我们的预测目标是某个确定形式的概率分布的参数,通过最大化对数似然来优化网络。如果我们把预测的目标改为分位数,用 L(\cdot) 作为损失函数呢?下图是实验的结果:

DeepAR 分位数预测

看起来也不错。且这种方式并不预先假设分布的具体形式,似乎更加通用一些。