word2vec笔记

本文基于word2vec原理CBOW与Skip-Gram模型基础
CBOW与Skip-Gram的模型计算的推导待补充(咕咕咕)

word2vec训练过程

参考word2vec简介与训练过程概要

首先是对语料进行预处理，比如中文语料的分词；去除语料中的停用词等等。
扫描语料库，统计每个词的词频，然后保存到一个hash表里。
根据词频建立Huffman树，Huffman树是一颗最优二叉树。
根据哈夫曼树生成哈夫曼编码，每个叶子节点即词向量都对应一个编码。
初始化非叶子节点的中间向量和叶节点中的词向量。
tips:在训练开始之前，词向量就已经存在，只不过是一个无意义的初始值，通过不断的迭代得到最优的词向量。
训练中间向量和词向量
Huffman树的训练过程相当于多个二分类器的叠加。

词向量

one hot

词的数量等于向量的维度，当前词的位置的维度值为1，其他词的位置为0
例:(0,1,0,0,0,0,0)
problem:当词的数量很大时，一个词的词向量可能达到上百万维，内存损耗过大，利用率过低。

Distributed representation

通过训练，将每个词都映射到一个较短的词向量上去，这样表示这些词的词向量不会过多的损耗内存，而且这些词向量还能构成向量空间，可以便于研究词于词之间的关系。

CBOW&Skip-Gram

word2vec模型是使用的经典的输入层，隐藏层，输出层（softmax层）的神经网络结构。
word2vec出现前曾使用过DNN训练词向量，但问题是DNN的计算量太大，非常耗时。

image.png

CBOW

CBOW的输入是某一个特征词的上下文相关的词对应的词向量，而输出是当前这个词，也就是说是通过上下问来预测当前词。

Skip-Gram

Skip-Gram的输入是当前词，输出是这个词的上下文的词向量，也就是通过当前词来预测这个词的上下文。

预备知识

sigmoid函数

$\sigma(x)=\frac{1}{1+e^{-x}}$
sigmoid函数的值域为(0,1)
tips:因为sigmoid函数一般在(0,1)之间，所以sigmoid函数一般用于输出某个概率值

$\sigma^{'}(x)=\sigma(x)[1-\sigma(x)]$
${[log\sigma(x)]}^{'}=1-\sigma(x)$
${[log(1-\sigma(x))]}^{'}=-\sigma(x)$

二分类的逻辑回归
$\sigma(x^T_\omega\theta)=\frac{1}{1+e^{-x^T_\omega\theta}}$

Softmax函数

一般用于多分类问题，它将多个神经元的输出，映射到(0,1)区间内，可以把输出看成概率值来进行多分类。
对于训练集{ $(x^1,y^1),(x^2,y^2),...,(x^m,y^m)$ },我们有 $y^i\in\{1,2,...,k\}$ ,例如minst手写数据集中，k=10，有10个不同的类别。
$S_i=\frac{e^{V_i}}{\sum_i^ce^{V_i}}$
$V_i$ 是分类器的前级输出单元的输出，i表示当前的类别，类别的总个数为C， $S_i$ 可以看作输入时i类别的概率。

Huffman树

word2vec中没有使用传统的DNN模型，而是使用了Huffman树来代替隐藏层和输出层的神经元。
叶子节点 === 输出层神经元
叶子节点的个数 === 词汇表的大小
内部节点 === 隐藏层神经元
如何构建Huffman树？略
使用Huffman树的优点，得到Huffman树之后可以立即进行Huffman编码，权重越高的叶子节点越靠近根节点，权重越低的叶子节点远离根节点，Huffman编码的方式会对高权重的编码值较短，对低权重的编码值较长，这样可以保证树的带权路最短，也就是说这样可以让越常用的词的编码更短。

基于Hierarchical Softmax的模型

传统的神经网络词向量语言模型中，一般有3层，输入层，隐藏层和输出层(softmax层)。
其中导致传统神经网络模型计算速度很慢的问题在于从隐藏层到输出的softmax层的计算量很大，因为它需要对所有的词都计算一个softmax概率，然后再去找到其中概率的最大值。
简单来说，基于Hierarchical Softmax的模型就是使用Huffman树来代替传统的神经网络，极大的提高了模型的训练速度

而word2vec对这个模型作出了改进。

输入层到隐藏层的映射
没有使用传统神经网络中的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和然后取平均的方法。
例：输入3个4维向量(1,2,3,4)(9,6,11,8)(5,10,7,12),通过映射到隐藏层后的词向量就是(5,6,7,8),这里是从多个词向量变成了一个词向量。

隐藏层到输出层的映射
上面已经提到过，传统的模型中的隐藏层到输出的softmax层中会逐个词计算概率，而word2vec中则采样了Huffman树来代替从隐藏层到输出层的映射。

霍夫曼树的所有内部节点就类似之前神经网络隐藏层的神经元,其中，根节点的词向量对应我们的投影后的词向量，而所有叶子节点就类似于之前神经网络softmax输出层的神经元，叶子节点的个数就是词汇表的大小。在霍夫曼树中，隐藏层到输出层的softmax映射不是一下子完成的，而是沿着霍夫曼树一步步完成的，因此这种softmax取名为"Hierarchical Softmax"。

Huffman树的映射方式
在word2vec中，采用了二元逻辑回归的方法，即规定沿着左子树走就是负类(Huffman编码为1)，沿着右子树走就是正类(Huffman编码为0)，判别正负的方法是使用sigmoid函数：
$P(+)=\sigma(x^T_\omega\theta)=\frac{1}{1+e^{-x^T_\omega\theta}}$
其中 $X_\omega$ 是当前内部节点得词向量， $\theta$ 是需要从训练样本中求出得逻辑回归的逻辑参数。

使用Huffman树的优点

由于二叉树的特性，计算量从V变成了 $log_2V$ 。
Huffman树中词频越高的词越靠近根节点，这样越高频的词找到的时间越多，符合贪心的思路。

$P(-)=1-P(+)$
在Huffman中，P(-)大则往左走，P(+)大则往右走，而P(+)的大小是由当前节点的词向量和当前节点的模型参数 $\theta$ 决定的。

Huffman输出过程

这是一个训练样本的输出，其中 $n(w_2,1)$ 的P(-)概率大，因此选择走左子树， $n(w_2,2)$ 同理， $n(w_2,3)$ 的P(+)概率大，因此选择走右子树，得到输出 $w_2$ 。

Huffman树的梯度计算
基于Hierarchical Softmax的CBOW模型和Skip-Gram模型

咕咕咕

基于Negative Sampling的模型

Hierarchical Softmax的缺点：
它使用Huffman树来提高模型的训练速度，但是如果训练样本的中心词是一个生僻词，那么它每次都要在Huffman树中往下走很久才能得到，会导致训练速度比较慢。
Negative Sampling就是求解word2vec的另一种方式，它选择使用负采样的方法来求解。

负采样(Negative Samoling)
比如我们有一个训练样本，中心词是 $w$ ,它周围上下文共有 $2c$ 个词，记为 $context(w)$ 。由于这个中心词 $w$ ,的确和 $context(w)$ 相关存在，因此它是一个真实的正例。通过Negative Sampling采样，我们得到 $neg$ 个和 $w$ 不同的中心词 $w_i(i=1,2,..neg)$ ，这样 $context(w)$ 和 $w_i$ 就组成了 $neg$ 个并不真实存在的负例。利用这一个正例和 $neg$ 个负例，我们进行二元逻辑回归，得到负采样对应每个词 $w_i$ 对应的模型参数 $θ_i$ ，和每个词的词向量。

模型的梯度计算&如何使用1个正例和neg个负例进行二元逻辑回归

咕咕咕

Negative Sampling 负采样方法
如何进行负采样得到neg个负例？:
如果词汇表的大小为V，那么我们就将一段长度为1的线段分成V份，每份都对应词汇表中的一个词。当然对应每个词的线段长度都是不一样的，对应高词频的词的线段长，低词频对应的线段短，每个词对应的线段长度由下面的式子决定：
$len(w)=\frac{count(m)}{\sum_{u\in vocab}count(u)}$
也就是说线段长度为当前词的词频除以总词频。在word2vec中，分子和分母都取了3/4次幂：
$len(w)=\frac{count(m)^{3/4}}{\sum_{u\in vocab}count(u)^{3/4}}$
在采样之前，我们将这段长度为1的线段分成M等份，在这里M>>V，这样可以保证每个词对应的线段都会划分成对应的小块。而M份中的每一份都会落在某一个词对应的线段上。
在采样的时候，我们只需要从M个位置中采样出neg个位置就行，此时采样到的每一个位置对应的线段所属的词就是我们的负例词。

在word2vec中，M取值默认为1e8

基于Negative Sampling的CBOW模型
基于Negative Sampling的Skip-Gram模型

咕咕咕

最后编辑于：2019.03.23 10:24:04

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 157,198评论 4赞 359
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 66,663评论 1赞 290
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 106,985评论 0赞 237
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,673评论 0赞 202
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 51,994评论 3赞 285
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,399评论 1赞 211
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,717评论 2赞 310
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,407评论 0赞 194
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,112评论 1赞 239
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,371评论 2赞 241
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 31,891评论 1赞 256
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,255评论 2赞 250
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 32,881评论 3赞 233
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,010评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,764评论 0赞 192
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,412评论 2赞 269
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,299评论 2赞 260