Sherman-Morrison公式在BFGS算法的应用

Sherman-Morrison公式:设A\in\mathbb{R}^{n\times n}为可逆矩阵,u,v\in\mathbb{R}^n,则(A+uv^T)可逆当且仅当1+v^TAu\neq 0,并且其逆矩阵是(A+uv^T)^{-1}=A^{-1}-\frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u}

在BFGS算法中,已经得到递推公式B_{k+1}=B_k+\frac{y_ky_k^T}{y_k^T\delta_k}-\frac{B_k\delta_k\delta_k^TB_k}{\delta^TB_k\delta_k},设B_k=B_k^Tn\times n的实对可逆对称矩阵,y_k,\delta_k\in\mathbb{R}^n,我们希望得到B^{-1}_{k+1}

为了方便叙述,省略下标k。首先令H=B+\frac{yy^T}{y^T\delta},我们注意到,-\frac{B\delta\delta^TB}{\delta^TB\delta}=-\frac{1}{\delta^TB\delta}(B\delta)(B\delta)^T,其中\delta^TB\delta为标量(二次型形式),且B\delta\in\mathbb{R}^n,因此利用sherman-morrison公式,我们就有
\begin{split} B_{k+1}^{-1}=& \left(H-\frac{1}{\delta^TB\delta}(B\delta)(B\delta)^T\right)^{-1}\\ =&H^{-1}-\frac{H^{-1}\left(-\frac{1}{\delta^TB\delta}(B\delta)(B\delta)^T\right)H^{-1}}{1+(-\frac{1}{\delta^TB\delta})(B\delta)^TH^{-1}(B\delta)}\\ =&H^{-1}+H^{-1}\frac{B\delta\delta^TB}{\delta^TB\delta-\delta^TBH^{-1}B\delta}H^{-1} \end{split}
另一方面,对于H^{-1},再次利用sherman-morrison公式,就有
\begin{split} H^{-1}&= \left(B+\frac{yy^T}{y^T\delta}\right)^{-1}\\ &=B^{-1}-\frac{B^{-1}\frac{yy^T}{y^T\delta }B^{-1}}{1+\frac{1}{y^T\delta}y^T B^{-1}y}\quad\text{Note that $y^T\delta$ is scalar, inner product}\\ &=B^{-1}-\frac{B^{-1}yy^TB^{-1}}{y^T\delta+y^TB^{-1}y} \end{split}
注意到y^T\deltay^TB^{-1}y都是常数(即内积形式和二次型形式),令Q=y^T\delta+y^TB^{-1}y

现将H^{-1}的表达式代回B^{-1}_{k+1}中,我们首先计算第二项:
\begin{split} &H^{-1}\frac{B\delta\delta^TB}{\delta^TB\delta-\delta^TBH^{-1}B\delta}H^{-1} \\=&\left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right) \frac{B\delta\delta^TB}{\delta^TB\delta-\delta^TB\left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right)B\delta}\left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right)\\ =& \left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right) \frac{B\delta\delta^TB}{ \delta^TB\delta-\delta^TB\delta +\frac{\delta^Tyy^T\delta}{Q}} \left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right)\\ =&\frac{Q}{\delta^Tyy^T\delta}\left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right) B\delta\delta^TB\left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right) \\ =&\frac{Q}{\delta^Tyy^T\delta}\left(\delta\delta^TB-\frac{B^{-1}yy^T\delta\delta^TB}{Q}\right)\left(B^{-1}-\frac{B^{-1}yy^TB^{-1}}{Q}\right)\\ =&\frac{Q}{\delta^Tyy^T\delta}\left(\delta\delta^T-\frac{\delta\delta^Tyy^TB^{-1}}{Q}-\frac{B^{-1}yy^T\delta\delta^T}{Q}+\frac{B^{-1}yy^T\delta\delta^Tyy^TB^{-1}}{Q^2}\right)\;\;\text{(let $k=\delta^Ty=y^T\delta$)}\\ =&\frac{Q}{k^2}\left(\delta\delta^T-\frac{k\delta y^TB^{-1}}{Q}-\frac{B^{-1}ky\delta^T}{Q}+\frac{B^{-1}k^2yy^TB^{-1}}{Q^2}\right)\\ =&\frac{Q\delta\delta^T}{k^2}-\frac{\delta y^TB^{-1}}{k}-\frac{B^{-1}y\delta^T}{k}+\frac{B^{-1}yy^TB^{-1}}{Q} \end{split}
现在,我们有
\begin{split} B_{k+1}^{-1} &=H^{-1}+\frac{Q\delta\delta^T}{k^2}-\frac{\delta y^TB^{-1}}{k}-\frac{B^{-1}y\delta^T}{k}+\frac{B^{-1}yy^TB^{-1}}{Q}\\ &=B^{-1}+\frac{Q\delta\delta^T}{k^2}-\frac{\delta y^TB^{-1}}{k}-\frac{B^{-1}y\delta^T}{k}\\ &=\left(I-\frac{\delta y^T}{k}\right)B^{-1}-\frac{B^{-1}y\delta^T}{k}+\frac{(y^T\delta+y^TB^{-1}y)\delta\delta^T}{k^2}\\ &=\left(I-\frac{\delta y^T}{k}\right)B^{-1}-\frac{B^{-1}y\delta^T}{k}+\frac{\delta\delta^T}{k}+\frac{y^TB^{-1}y\delta\delta^T}{k^2}\\ &\quad\quad\text{(Note that $y^TB^{-1}y$ is scalar, so $y^TB^{-1}y\delta\delta^T=\delta y^TB^{-1}y\delta^T$)}\\ &=\left(I-\frac{\delta y^T}{k}\right)B^{-1}-\frac{B^{-1}y\delta^T}{k}+\frac{\delta\delta^T}{k}+\frac{\delta y^T }{k}\frac{B^{-1}y\delta^T}{k}\\ &=\left(I-\frac{\delta y^T}{k}\right)B^{-1}-\left(I-\frac{\delta y^T}{k}\right)\frac{B^{-1}y\delta^T}{k}+\frac{\delta\delta^T}{k}\\ &=\left(I-\frac{\delta y^T}{k}\right)B^{-1}\left(I-\frac{\delta y^T}{k}\right)+\frac{\delta\delta^T}{k} \end{split}
于是,可以求得B^{-1}_{k+1}B^{-1}_{k+1}=\left(I-\frac{\delta_k y_k^T}{\delta_k^T y_k}\right)B_k^{-1}\left(I-\frac{\delta_k y_k^T}{\delta_k^T y_k}\right)+\frac{\delta_k\delta_k^T}{\delta_k^T y_k}

推荐阅读更多精彩内容

  • 网易靠着“故事会”和推荐吸引了大批用户,腾讯则是靠社交和版权占有一席之地,旗下拥有着酷我、酷狗和QQ音乐;阿里的虾...
    ketchupyan阅读 19,464评论 2 17
  • 文/竹影飘摇 长街的喧嚣像涌动的空气一首老歌的旋律如水漫过,湿了衣角有多久没想起你了呢我知道不该问自己这个问题今春...
    竹影飘摇阅读 464评论 12 15
  • 蚂蚁 蚂蚁呀 黑 蚂蚁呀 红 蚂蚁呀 嘿嘿 蚂蚁 作为一只蚂蚁 我真的很怕—— ——死 非常怕...
    屠夫山西阅读 449评论 14 6
  • 陆黔微一愣怔,心道:“我要在皇宫里动刀杀人,形容得又是残忍血腥,若换成别的女子,不是忙着劝阻我,就是吓得抱头尖叫,...
    _____以歿炎涼阅读 17评论 0 1
  • 八月桂花八月开,花香悄悄迎面来。 虽然偏居墙角旁,傲气长存如依然。 拍摄于北京植物园盆景园南侧一角落的一株桂花树。
    党项人阅读 104评论 0 1