《lucene in action》笔记:分析过程

分析(Analysis),在Lucene中指的是将域Field文本转换成最基本的索引表示单元-项(Term)的过程。在搜索过程中,这些项用于决定什么样的文档能够匹配查询条件。

1.使用分析器

使用Lucene时,选择一个合适的分析器是非常关键的。分析操作将出现在任何需要将文本转换成项的时刻,而对于Lucene核心来说,分析操作会出现在两个时间点:建立索引期间和使用QueryParser对象进行搜索时。

1.1 索引过程中的分析

在索引期间,文档域值所包含的文本内容需要被转换成语汇单元。

Analyzer analyzer = new StandAnalyzer(Version.LUCENE_30);
IndexWriter writer = new IndexWriter(directory, analyzer, IndexWriter.MaxFieldLength.UNLIMITED); 

上面的代码初始化index writer的时候传入了一个默认分析器。索引文档期间一般通过默认的分析器来分析文档中的每个域。但若某个文档需要特殊的分析器处理的话,可以针对这个文档指定分析器:IndexWriter类的addDocument方法和updateDocument方法都允许为某个文档选择对应的分析器。

1.2 QueryParser分析

QueryParser能够很好地为搜索用户提供形式自由的查询。为了完成这个任务,QueryParser使用分析器将文本信息分隔成各个项用以搜索。在实例化QueryParser对象时,同样需要传入一个分析器对象:

QueryParser parser = new QueryParser(Version.LUCENE_30, "contents", analyzer);
Query query = parser.parse(expression);

查询时,QueryParser所使用的分析器必须和索引期间使用的分析器相同吗?不一定。

2.剖析分析器

Analyzer类是一个抽象类,是所有分析器的基类。它通过TokenStream类以一种很好的方式将文本逐字转换为语汇单元流。分析器实现TokenStream对象的唯一声明方法是:

public TokenStream tokenStream(String FieldName, Reader reader)

我们从简单的SimpleAnalyzer类开始观察分析器怎样工作的。

public final class SimpleAnalyzer extends Analyzer {
    @Override
    public TokenStream tokenStream(String fieldName, Reader reader) {
        return new LowerCaseTokenizer(reader);
    }
    
    @Override
    public TokenStream reusableTokenStream(String fieldName, Reader reader) throws IOException {
        Tokenizer tokenizer = (Tokenizer) getPreviousTokenStream();
        if (tokenizer == null) {
            tokenizer = new LowerCaseTokenizer(reader);
        } else {
            tokenizer.reset(reader);
        }
        return tokenizer;
    }
}

LowerCaseTokenizer对象一句文本中的非字母字符来分隔文本,去掉非字母字符,并且正如它名字所暗示的那样,将所有字母转换成小写形式。resuableTokenStream()方法是一个可选方法,分析器可以实现这个方法并通过它得到更好的索引效率。该方法被允许重复利用此前向对应线程返回的同一个TokenStream。这种方式可以节约大量的垃圾搜索开销。Analyzer基类实现了两个工具类防范,即setPreviousTokenStream()和getPreviousTokenStream(),它们为本机存储线程提供针对TokenStream对象的存储和回收功能。

2.1 语汇单元的组成

语汇单元流是分析过程产生的基本单元。一个语汇单元携带了一个文本值(即单词本身)和其它一些数据:原始文本从起点到终点的偏移量、语汇单元的类型、以及位置增量。当文本在索引过程中进行分析后,每个语汇单元都作为一个项被传递给索引。位置增量、起点和终点偏移量和有效负载是语汇单元携带到索引中的唯一附加元数据。语汇单元的类型和标志位都被抛弃了,它们只在分析过程使用。位置增量使得当前语汇单元和前一个语汇单元在位置上关联起来。一般来说位置增量为1,表示每个单词存在于域中唯一且连续的位置。位置增量因子会直接影响短语查询和跨度查询,因为这些查询需要知道域中各个项之间的距离。如果位置增量大于1,则允许语汇单元之间有空隙,可以用这个空隙来表示被删除的单词。位置增量为0的语汇单元表示将语汇单元放置在前一个语汇单元的位置上。同义词分析器可以通过0增量来表示插入的同义词。这个做法使得Lucene在进行短语查询时,输入任一个同义词都能匹配到同一结果。

2.2 语汇单元流揭秘

TokenStream是一个能在被调用后产生语汇单元序列的类,但TokenStream类有两个不同的类型:Tokenizer类和TokenFilter类。这两个类都从抽象类TokenStream继承而来。Tokenizer对象对用java.io.Reader对象读取字符并创建语汇单元流,而TokenFilter则负责处理输入的语汇单元,然后通过新增、删除或者修改属性的方式来产生新的语汇单元。
当Analyzer从它的tokenStream方法或者reusableTokenStream方法返回tokenStream对象后,它就开始用一个tokenizer对象创建初始语汇单元序列,然后再链接任意数量的tokenFilter对象来修改这些语汇单元。这被称之为分析器链(analyzer chain)。

2.3 语汇单元过滤器:过滤顺序的重要性

对于某些TokenFilter子类来说,在分析过程中对事件的处理顺序是非常重要的。每个步骤也许都必须前一个步骤才能完成。移除停用词就是一个很好的例子。StopFilter类在停用词集合中区分大小写地查对每一个语汇单元。这个步骤依赖于输入小写形式的语汇单元。

3. 使用内置分析器

Lucene包含了一些内置分析器。

3.1 StopAnalyzer

StopAnalyzer分析器除了完成基本的单词拆分和小写功能之外,还负责移除一些称之为停用词的特殊单词。

3.2 StandardAnalyzer

StandardAnalyzer是公认的最实用的Lucene内置分析器。

3.3 选择恰当的分析器

事实上,大多数应用程序都不使用任意一种内置分析器,而是选择创建自己的分析器链

4.同义词、别名和其他相同意义的词

出于某些原因,自然语言已演变成可以用多种方式来表达同一事物。搜索期间不许处理这类同义词,否则用户可能找不到他们想要的文档

4.1 创建SynonymAnalyzer

SynonymAnalyzer的目标是检测具有同义词的单词,然后在同一位置插入对应的同义词。事实上同义词的实现可以在索引阶段也可以在搜索阶段,这两种方式的区别在于,如果索引阶段实现,那么索引的体积会增大,如果搜索方式实现,可能会存在查询不到的情况,这与你使用的查询解析器有关。这两者我更倾向于在索引阶段实现同义词。

小结

虽然分析功能只是Lucene的一个方面,不过它却是最需要重视的内容。只有在索引过程中经过分析产生的词才能被搜索到。完全通用的分析方法时不存在的,所以当开始进行分析时,你可能需要根据不同的应用领域来调整对应的分析过程。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249

推荐阅读更多精彩内容

  • 1. Lucene 官网 1). 概述 Lucene是一款高性能的、可扩展的信息检索(IR)工具库。信息检索是指文...
    _凌浩雨阅读 899评论 0 1
  • 1. 案例分析:什么时全文检索,如何实现全文检索   1.1 案例   实现一个文件的搜索功能,通过关键字搜索文件...
    东方舵手阅读 1,109评论 0 1
  • 1.1. 数据分类 结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。非结构化数据:指不定长或无...
    Zephyr_07阅读 5,747评论 0 1
  • 描述 我们生活中的数据总体分为两种:结构化数据和非结构化数据结构化数据:指具有固定格式或有限长度的数据,如数据库,...
    So_ProbuING阅读 474评论 0 1
  • 去年开始决定创业,到现在也没有收入多少,其实内心是很煎熬的。亲戚朋友听说我开公司了,就以为我挣了好多钱,压岁...
    渝渟阅读 211评论 0 1