生成词云的几种方式对比【转】

在数据可视化方面,词云一直是一种视觉冲击力很强的方式。对输入的一段文字进行语义分割,得到不同频度的词汇,然后以正比于词频的字体大小无规则的集中显示高频词,简洁直观高效。

词云虽好,但也要易做才行。本文探索了3种生成词云的方式:

  • 在线工具

  • 软件工具

  • 编程工具


00 数据来源

春节期间,NBA传奇巨星科比·布莱恩特意外坠机身亡,引得无数球迷无限惋惜。我们写了一个小爬虫抓取了豆瓣上科比记录片的评论信息,以此作为文本分析的数据来源,向曼巴致敬。(豆瓣搜索"曼走 科比《告别》"即可)


01 生成词云之在线工具

搜索词云在线生成工具,会得到很多结果,包括国内外的网站平台都有。对比了搜索较为靠前的几款在线工具,但或多或少都存在一些使用上瑕疵,有的是网页加载慢,有的是要注册后方可使用,有的是字体支持较差,还有的是要付费使用。

当然,毕竟是要使用方便快捷有效的,而且最好还是免费的就完美了。对比之后,感觉这两个平台还算相对好用:

  • WordArt

  • 优点:无需注册即可使用;对热词数量无限制;支持个性化配置,包括热词、字体、形状等;在线词云支持交互查看

  • 缺点:英文操作界面,部分用户使用不便,加载较慢;字体支持差,中文仅有一种支持字体,且因权限问题可能无法添加本地字体

image

默认字体库仅有一种字体支持中文

  • 微词云

  • 优点:支持自动文本分析;有大量形状模板,也支持自定义模板;图片色彩多样,包括渐变色;支持大量字体;操作简单

  • 缺点:需注册后方可使用;免费使用下载图片有水印;对热词数量有限制

image

支持大量个性化配置

2个在线平台生成的词云结果:

image

WordArt在线生成(个别中文仍有乱码)

image

微词云在线生成(中间实际有水印)


02 生成词云之软件工具

网页在线工具和桌面软件在生成词云这项任务上,本无实质差别,甚至很多平台是既支持在线生成也有桌面客户端软件。

为了区别于网页在线生成词云的方式,这里选用了商业智能分析工具Tableau作为桌面软件的代表来制作词云。虽然词云可能算不上是Tableau的主业。

用Tableau生成可视化图表一向比较简单,制作词云也不例外。将数据源加载进Tableau界面后,简单的点击设置即可。

image

"热词"是所有词源,"次数"是频度

实际上,用Tableau制作词云的输入数据不是文本,而是经处理后的两列结果数据。从这个角度来说,Tableau生成词云的方式甚至有些低级,严格讲只能称的上是对筛选和统计完毕后的文本进行可视化显示而已。

不过也容易想到其非常方便的应用场景,例如提供了若干个商品名称及其销售额的数据,则可通过词云中商品名的大小直观显现各自收益占比。

Tableau制作词云的优缺点:

  • 优点:操作极其简单;词云界面可交互,便于二次筛选

  • 缺点:输入源要求完成词频统计;个性化设置程度较低;热词大小对比度较差

提供统计完毕后的热词数据,利用Tableau生成词云结果:

image

Tableau生成的词云算不上出众


03 生成词云之编程工具

很多编程工具均可生成词云,Python自然也不例外。

  • wordcloud

wordcloud是Python专门用于制作词云的第三方库,使用前需安装,而且这个安装过程往往会隐藏一些坎坷。利用wordcloud生成词云非常简单,可以通过大量的参数设置来个性化定制词云效果。

虽然wordcloud自带切分词处理能力,但鉴于其切分效果一般,所以往往还是会配套使用jieba库来进行切分,而后再用空格连接(wordcloud在处理切分时优先使用空格作为分隔符)

示例源码:

import jiebaimport wordcloudimport matplotlib.pyplot as pltword_list = jieba.lcut(words)   # 结巴词库切分词word_list = [word for word in word_list if len(word.strip())>1]#清洗一个字的词word_clean=" ".join(word_list)import imageiomask=imageio.imread(r'kobe.jpg')wc = wordcloud.WordCloud(font_path = "simkai.ttf",#指定字体类型                        background_color = "white",#指定背景颜色                        max_words = 200,  # 词云显示的最大词数                        max_font_size = 255,#指定最大字号                        mask = mask) #指定模板wc = wc.generate(word_clean)##生成词云plt.imshow(wc)plt.axis("off")plt.show()"""Wordcloud详细参数设置def __init__(self, font_path=None, width=400, height=200, margin=2,    ranks_only=None, prefer_horizontal=.9, mask=None, scale=1,    color_func=None, max_words=200, min_font_size=4,    stopwords=None, random_state=None, background_color='black',    max_font_size=None, font_step=1, mode="RGB",    relative_scaling='auto', regexp=None, collocations=True,    colormap=None, normalize_plurals=True, contour_width=0,    contour_color='black', repeat=False,    include_numbers=False, min_word_length=0):"""

查阅wordcloud的官方文档可以发现,其自带参数设置非常丰富,比如以下几个有用功能:

  • font_path:设置字体

  • mask:设置词云模板

  • stopwords:停用词列表

给出wordcloud3种不同方式生成词云结果:

image

利用文本直接生成词云

image

利用 jieba 分词后生成词云

image

设置词云模板mask后效果

  • PyEcharts

除了wordcloud专门用于生成词云的第三方库外,python的另一个可视化库Pyecharts也支持生成词云,即pyecharts库下的wordcloud子类。

不过,与Tableau生成词云的方式类似,pyecharts也要求输入的数据是经过筛选和统计好的数据,例如经过jieba分词+counter统计后得到的结果,即可非常方便的应用pyecharts制作词云。而且,pyecharts的所有图表均可交互,词云图也不例外,这也算是它的一项优势。

示例源码:

import jiebafrom collections import Counterfrom pyecharts.charts import WordCloudword_list = jieba.lcut(words)   # 切分词word_list = [word.strip() for word in word_list if len(word.strip())>1]wordCount = Counter(word_list)wc = WordCloud()wc.add("", wordCount.items(), word_size_range=[20, 100])wc.render(r'kobe.html')"""def add(    self,    series_name: str,    data_pair: types.Sequence,    *,    shape: str = "circle",    word_gap: types.Numeric = 20,    word_size_range: types.Optional[types.Sequence] = None,    rotate_step: types.Numeric = 45,    tooltip_opts: types.Tooltip = None,    itemstyle_opts: types.ItemStyle = None,):"""

查阅其add方法,可以了解生成词云的一些设置参数,不过相比wordcloud库来说,pyecharts的wordcloud设置参数实在是太有限了。

提供统计后的数组,利用pyecharts生成的词云结果:

image

pyecharts生成的词云图片看上去有些过于"规矩",字体旋转角度单一(通过rotate_step参数设置),字号大小对比也不够明显。

04 结论

  • 词云作为数据可视化的一种常用手段,视觉冲击力较强,制作方法也比较灵活多样

  • 普通的词云制作需求依托在线工具即可有效满足,国内外均有相关工具

  • Tableau作为商业智能分析软件,在制作词云上表现并不出众,但极为快捷方便

  • Python编程实现词云可进行大量的个性化定制,包括分词、过滤、图片模板和文字设置,都有大量参数可供调节

  • 除wordcloud用于专门生成词云外,pyecharts的wordcloud子库也有着不错的效果,且支持交互

作者:luanhz

来源:小数志

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271