【PG】使用 zhparser 进行中文分词全文检索


为了将帖子显示到关注点相同的用户面前,打算根据关注点相关的关键词对帖子进行分类。
考虑关注点不是很多,在发帖时就对关键词进行检索分类,然后将分类关系保存在 DB 里。
具体实现上偷懒通过自定义词典配置关键词,采用 PostgreSQL 的全文检索功能对帖子内容分词识别。


安装 zhparser 中文分词扩展

1.安装SCWS
2.下载zhparser源码
3.编译和安装zhparser
5.创建extension

具体可参照官网,不过由于年久失修的缘故给出的命令遗漏了部分字符(比如 http: 后的 //),参考 GitHub反而更方便。

创建词典

  • 分词词典
    默认的分词有时不能满足需求,所以需要将自己的专有词汇以扩展词典的方式加入postgresql.conf(具体参考 zhparser 说明)

zhparser.extra_dicts = 'dict_extra.txt,mydict.xdb'

  • 未添加自定义分词词典
  => select * from ts_debug('testzhcfg', '约翰惠特沃斯');
   alias | description | token |      dictionaries       | dictionary | lexemes
  -------+-------------+-------+-------------------------+------------+---------
   n     | noun        | 约翰  | {thesaurus_test,simple} | simple     | {约翰}
   n     | noun        | 惠特  | {thesaurus_test,simple} | simple     | {惠特}
   n     | noun        | 沃斯  | {thesaurus_test,simple} | simple     | {沃斯}
  (3 rows)
  • 添加自定义分词词典后
  => select * from ts_debug('testzhcfg', '约翰惠特沃斯');
   alias | description |    token     |      dictionaries       | dictionary |    lexemes
  -------+-------------+--------------+-------------------------+------------+----------------
   n     | noun        | 约翰惠特沃斯 | {thesaurus_test,simple} | simple     | {约翰惠特沃斯}
  (1 row)
  • 同义词词库
    虽然自定义分词词典优先度比系统的高,但遇到 中文+英文+数字 的复合词汇时仍然无法作为一个整体正常解析为一个词,而是会分成多个词。这样就用同义词词库将多个词构成的 短语 重新定义为目标词。
/*
 * 中文环境为主,英文单词均精确匹配,未使用 Ispell 及 Snowball 词典
 * 为减少大写写差异导致同义词库条目增加,使用 Simple 词典
 */
CREATE TEXT SEARCH DICTIONARY thesaurus_test (
    TEMPLATE = thesaurus,
    DictFile = thesaurus_test,
    Dictionary = pg_catalog.simple
);
  • 未添加同义词词典(同义词库用 ts_debug 调试可能不准,具体参见文档
      => select * from to_tsvector('testzhcfg', '毛瑟g98');
         to_tsvector
      ------------------
       'g98':2 '毛瑟':1
      (1 row)
  • 添加同义词词库后
      => select * from to_tsvector('testzhcfg', '毛瑟g98');
       to_tsvector
      -------------
       '毛瑟g98':1
      (1 row)

配置解析

CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);

/*
 * 为防止遗漏造成同义词库匹配失败,将所有词性全部映射
 * 为保留同义词库未匹配项,增加 Simple 字典的映射
 */
ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z WITH thesaurus_test,simple;

代码逻辑

  • 在分类表中增加 TSQUERY 类型字段指定关键词
  • 提交帖子时将帖子内容分词后和关键词进行匹配
to_tsvector('testzhcfg', '帖子内容') @@ TSQUERY字段
  • 保存帖子和匹配到分类间的关系

至此成功达到目的。

附注:

select ts_lexize(dictionary, text)

  • 调试 parser

select * from ts_debug(config, text)

  • 调试 config

select to_tsvector(config, text)
select plainto_tsquery(config, text)

  • 查看 parser 支持的词性

select * from ts_token_type(parser);

推荐阅读更多精彩内容