Stanford NLP+Python+中文配置使用与可视化

Stanford NLP下载

下载网址:https://stanfordnlp.github.io/CoreNLP/

要下载两个文件,一个是Stanford CoreNLP,一个是Chinese语言包(两个文件都挺大的,慢慢等吧)

安装包下载

Stanford NLP安装

1.下载安装jdk1.8

官网:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载对应版本即可

JDK下载

测试是否安装成功,在命令行输入命令“java -version”,显示jdk版本,如下:

查看JDK版本

2.安装配置stanford nlp与中文语言包

安装stanfordcorenlp

直接用pip命令安装,加上大清镜像,速度快无边~~跳舞

命令:

pip install stanfordcorenlp -i http://pypi.mirrors.ustc.edu.cn/simple/ --trusted-host pypi.mirrors.ustc.edu.cn

注意:这里如果报错:unable to execute 'gcc': No such file or directory

说明你的机器上没有安装gcc编译器。mac自带,但linux系统没有。用yum命令。

yum install gcc即可。

为了可视化安装nltk

最好再安装个nltk吧,跟解析没关系,主要是为了画图,让stanford parser的结果画成树,可视化。

安装命令:pip install nltk

然后运行python

import nltk

nltk.download()

下载一些nltk资源包。

配置中文解析

要parser中文,先把下载的Chinese.jar文件复制到/Users/***/stanford-corenlp-full-2018-10-05目录下。

3.运行

解析英文文本

代码如下:

from stanfordcorenlpimport StanfordCoreNLP

nlp = StanfordCoreNLP('/Users/***/stanford-corenlp-full-2018-10-05')

sentence ='Guangdong University of Foreign Studies is located in Guangzhou.'

print ('Tokenize:', nlp.word_tokenize(sentence))

print ('Part of Speech:', nlp.pos_tag(sentence))

print ('Named Entities:', nlp.ner(sentence))

print ('Constituency Parsing:', nlp.parse(sentence))#语法树

print ('Dependency Parsing:', nlp.dependency_parse(sentence))#依存句法

nlp.close()#释放,否则后端服务器将消耗大量内存

但是运行报错,文体出在了第二行:

PermissionError......AccessDenied,总之来说是权限问题,所以用sudo来运行这个python文件即可。

在命令行输入sudo python ***.py,得到结果如下:

斯坦福parser结果

解析中文文本

代码:

nlp = StanfordCoreNLP('/Users/wangwenhua/Downloads/stanford-corenlp-full-2018-10-05', lang='zh')#这里配置中文标示‘zh’

sentence ='清华大学位于北京。'

print(nlp.word_tokenize(sentence))

print(nlp.pos_tag(sentence))

print(nlp.ner(sentence))

print(nlp.parse(sentence))

print(nlp.dependency_parse(sentence))

结果:

中文解析结果

中文parser比英文慢一点。

4.可视化

虽然解析出来了,但是我们想画成树的样子来看一下,这里就用到了nltk,提供的tree可视化包。

代码:

from stanfordcorenlpimport StanfordCoreNLP

from nltk.treeimport Tree

nlp = StanfordCoreNLP('/Users/wangwenhua/Downloads/stanford-corenlp-full-2018-10-05', lang='zh')

sentence ='清华大学位于北京。'

tree=Tree.fromstring(nlp.parse(sentence))

tree.draw()

运行截图:

解析结果可视化

接下来相对依存句法分析的结果进行一些后处理,都可以针对nltk.tree这个类进行操作。

print(tree.height())#树的高度

print(tree.leaves())#树的叶子结点

tree.productions()#生成与树的非终端节点对应的结果

如下:

[ROOT -> IP, IP -> NP VP PU, NP -> NR NN, NR -> '清华', NN -> '大学', VP -> VV NP, VV -> '位于', NP -> NR, NR -> '北京', PU -> '。']

更多API参考NLTK官网:http://www.nltk.org/_modules/nltk/tree.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • src: http://www.zmonster.me/2016/06/08/use-stanford-nlp-p...
    阿o醒阅读 17,031评论 2 12
  • NLP 自然语言处理(Natural Language Processing)是深度学习的主要应用领域之一。 教程...
    御风之星阅读 2,895评论 0 17
  • 开发前准备 申请小程序开发者账号,登陆微信开发者平台 下载微信小程序开发工具 安装mp-vue 这样一个基于mp-...
    ffxxbb5阅读 629评论 0 1
  • 谢谢你啊,你记住我的话,积德行善,路会越走越宽。祝你健康长寿。―来自一个老人的祝福谢谢您,举手之劳,我很开心 帮助...
    晶晶_de96阅读 318评论 0 0
  • 今天参加面试,说真的什么都不懂,简直就是个傻 X, 做为一名即将毕业的服装设计专业的大专学生, 真的很渺小,如一叶...
    颜西n阅读 204评论 0 1