一文搞懂word embeddding和keras中的embedding

写这篇文章的初衷:

最近带一个本科生做毕设,毕设内容是用lstm做情感分析。文章思路其实就是一个文本三分类的问题(正、中、负)。

首先:

该文章用到了word embedding,可以使用gensim里面的word2vec工具训练word embedding。训练出来的词向量是一个固定维度的向量。而训练的过程是使用word2vec里面的两个模型(CBOW或skip-gram)进行训练的。我们可以将这模型的原理是Huffman树。但是,今天我找到一个更加通俗、更加易于理解的解释:


word embedding:http://blog.sina.com.cn/s/blog_1450ac3c60102x79x.html

训练好的词向量模型被保存下来,该模型的本质就是一个m*n的矩阵,m代表训练语料中词的个数,n代表训练时我们设定的词向量维度。当我们训练好模型后再次调用时,就可以从该模型中直接获取到对应词的词向量。这种表示方法相比one-hot编码不知要好了多少倍,原因是one-hot编码是一个基于统计的编码方式,不触及到文本的语义层面。

其次:

通过上面我们可以拿到每个词的词向量,但是我们任务处理时一般是对句子或文本进行操作(如文本分类、情感分析等等),那下一步该怎么办呢?好,别着急,看下图:https://github.com/Babyzpj/NLP/tree/master/SentimentAnalysis-master
通过该图我们知道,当我们拿到一个词向量后,那么一个句子或一个文本就可以用词表示成矩阵(假设一个句子有5个词,词向量维度是64,那么该矩阵就是5*64),然后可以用CNN或RNN(LSTM)模型将该矩阵编码成一个一维向量,并保留大多数文本信息。然后将该向量作为深度神经网络分类器的输入,即可得到最终的结果:

image.png
这个过程是一个关键过程,这里给出两个参考文献,以方便理解:
https://yq.aliyun.com/articles/221681
http://blog.sina.com.cn/s/blog_1450ac3c60102x79x.html

最后:

下面给出使用keras将文本向量矩阵进行一维化的例子:

from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Flatten
from keras.layers.embeddings import Embedding

# define documents
docs = ['Well done!',
        'Good work',
        'Great effort',
        'nice work',
        'Excellent!',
        'Weak',
        'Poor effort!',
        'not good',
        'poor work',
        'Could have done better.']

# define class labels
labels = [1,1,1,1,1,0,0,0,0,0]

# integer encode the documents
vocab_size = 50
encoded_docs = [one_hot(d, vocab_size) for d in docs]
print(encoded_docs)

# pad documents to a max length of 4 words
max_length = 4
padded_docs = pad_sequences(encoded_docs, maxlen=max_length, padding='post')
print(padded_docs)

# define the model
model = Sequential()
model.add(Embedding(vocab_size, 8, input_length=max_length))
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))

# compile the model
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'])

# summarize the model
print(model.summary())

# fit the model
model.fit(padded_docs, labels, epochs=50, verbose=0)

# evaluate the model
loss, accuracy = model.evaluate(padded_docs, labels, verbose=0)
print('Accuracy: %f' % (accuracy*100))
以下为实验结果:
[[33, 37], [18, 16], [31, 24], [33, 16], [5], [11], [34, 24], [11, 18], [34, 16], [48, 38, 37, 7]]

[[33 37  0  0]
 [18 16  0  0]
 [31 24  0  0]
 [33 16  0  0]
 [ 5  0  0  0]
 [11  0  0  0]
 [34 24  0  0]
 [11 18  0  0]
 [34 16  0  0]
 [48 38 37  7]]
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding_1 (Embedding)      (None, 4, 8)              400       
_________________________________________________________________
flatten_1 (Flatten)          (None, 32)                0         
_________________________________________________________________
dense_1 (Dense)              (None, 1)                 33        
=================================================================
Total params: 433
Trainable params: 433
Non-trainable params: 0
_________________________________________________________________
None
Accuracy: 89.999998

Process finished with exit code 0

参考:
1、http://blog.sina.com.cn/s/blog_1450ac3c60102x79x.html
2、https://machinelearningmastery.com/use-word-embedding-layers-deep-learning-keras/
3、http://keras-cn.readthedocs.io/en/latest/layers/embedding_layer/

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容

  • 前面的文章主要从理论的角度介绍了自然语言人机对话系统所可能涉及到的多个领域的经典模型和基础知识。这篇文章,甚至之后...
    我偏笑_NSNirvana阅读 13,648评论 2 64
  • 目标 从头开始实践中文短文本分类,记录一下实验流程与遇到的坑 运用多种机器学习(深度学习 + 传统机器学习)方法比...
    王岳王院长阅读 14,042评论 4 59
  • 1.NLP当前热点方向 词法/句法分析 词嵌入(word embedding) 命名实体识别(Name Entit...
    __Aragorn阅读 5,900评论 1 9
  • 优化思路 测试 MySQL周期性波动试验 实验目的: 模拟数据库高低峰时的压力波动,并会观察绘制波动曲线,帮助设计...
    yaokui阅读 228评论 0 3
  • 前几天学校老师发布了一个英语演讲比赛的征集信息,放学后我跟儿子提到这个事情,问他是不是想要参加,对话如下: 我:"...
    Happy可乐妈阅读 195评论 0 0