《深度学习》:深度学习中的结构化概率模型

结构化概率模型为随机变量之间的直接作用提供了一个正式的建模框架。这种 方式大大减少了模型的参数个数以致于模型只需要更少的数据来进行有效的估计。 这些更小的模型大大减小了在模型存储、模型推断以及从模型中采样时的计算开销。

有向模型

有向图模型(directed graphical model)是一种结构化概率模型,也被称为信 念网络(belief network)或者贝叶斯网络(Bayesian network)2(Pearl, 1985)。

无向模型

有向图模型为我们提供了一种描述结构化概率模型的语言。而另一种常见的语 言则是无向模型(undirected Model),也被称为马尔可夫随机场(Markov random field, MRF)或者是马尔可夫网络(Markov network)(Kindermann, 1980)。

马尔可夫随机场用团定义图得联合概率分布

由于 Z 通常是由对所有可能的 x 状态的联合分布空间求和或者求积分得到的, 它通常是很难计算的。为了获得一个无向模型的归一化概率分布,模型的结构和函 数 ϕ 的定义通常需要设计为有助于高效地计算 Z。在深度学习中,Z 通常是难以处 理的。由于 Z 难以精确地计算出,我们只能使用一些近似的方法。这样的近似方法 是第十八章的主要内容。

基于能量的模型

E(x) 被称作是能量函数(energy function)。对所有的 z,exp(z) 都是正的,这保证 了没有一个能量函数会使得某一个状态 x 的概率为 0。我们可以完全自由地选择那 些能够简化学习过程的能量函数。如果我们直接学习各个团势能,我们需要利用约 束优化方法来任意地指定一些特定的最小概率值。学习能量函数的过程中,我们可 以采用无约束的优化方法5。基于能量的模型中的概率可以无限趋近于 0 但是永远达 不到 0。

可以看出极大似然估计即要最小化总能量

分离和d-分离

从图模型中采样

对于有向图
原始采样的基本思想是将图中的变量 xi 使用拓扑排序,使得对于所有 i 和 j,如 果 xi 是 xj 的一个父亲结点,则 j 大于 i。然后可以按此顺序对变量进行采样。换句 话说,我们可以首先采 x1 ∼ P(x1),然后采 x2 ∼ P(x2 | PaG(x2)),以此类推,直到 最后我们从 P(xn | PaG(xn)) 中采样。只要不难从每个条件分布 xi ∼ P(xi | PaG(xi)) 中采样,那么从整个模型中采样也是容易的。拓扑排序操作保证我们可以按照 式(16.1)中条件分布的顺序依次采样。如果没有拓扑排序,我们可能会在其父节点 可用之前试图对该变量进行抽样。

对于无向图
不幸的是,从无向模型中抽取样本是一个成本很高的多次迭代的过程。理论上 最简单的方法是Gibbs 采样(Gibbs Sampling)。假设我们在一个 n 维向量的随机 变量 x 上有一个图模型。我们迭代地访问每个变量 xi,在给定其他变量的条件下从 p(xi |x−i) 中抽样。由于图模型的分离性质,抽取 xi 时我们可以等价地仅对 xi 的邻 居条件化。不幸的是,在我们遍历图模型一次并采样所有 n 个变量之后,我们仍然 无法得到一个来自 p(x) 的客观样本。相反,我们必须重复该过程并使用它们邻居的 更新值对所有 n 个变量重新取样。在多次重复之后,该过程渐近地收敛到正确的目 标分布。

受限玻尔兹曼机

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容