基于lucene的文件搜索引擎的设计与扩展

lucene是一个开源搜索引擎工具包,提供灵活,高效的API来给文本创建索引,搜索文本。同时也提供方便的接口来进行扩展。我们通过扩展其分词接口与文本分析接口来建立支持中文分词和解析多种文件格式的文件搜索引擎

维普资讯

14 4

福

建

电

脑

20 0 7年第 8期

基于 1cn uee的文件搜索引擎的设计与扩展温艳鸿f子科技大学计算机学院四川成都电 605 ) 10 4

【摘要】 lcn一个开源搜索引擎工具包，供灵活，效的 A I来给文本创建索引，索文本。同时也提供方便： uee是提高 P搜的接口来进行扩展。我们通过扩展其分词接口与文本分析接口来建立支持中文分词和解析多种文件格式的文件搜索引擎

【关键词】搜索引擎， cn,: l ee中文分词。 u1 .引言

只支持文本格式， t,t l。不支持 w r,d等文件。如 X hm等 t od pf

随着 l T业的迅速发展。息越来越多。靠以前用纸来记 3扩展 L c n 信光 . u ee载信息。找信息已经变得很费时费力。查现在的信息基本都存储在存储器如硬盘。盘等上面。这里很多数据都是文件格式，光如 WO DP FT T等文件。时候可能有成千上万的文件。找到 R。D,X有要他们可能就会很耗时间。 L cn ue e的出现。为我们提供了一种实现高效查找的可能。 并且他还是开源免费的。此易于扩展。实现我们一些特殊的因来需求。但是由于 L c n ue e的设计主要针对文本文件 .时对中文同分词支持不够。因此用在中文环境下或者多文件格式下就会出 32中文分词扩展 .

现问题。但是本文通过对其此法分析器的扩展以及对文件分 中文分词理论上有多种分词方法：于语义的分析。于统基基析器的扩展来实现在中文环境下，够对 P FWO D等文件进计的分词，于词库分词。由于中文语法灵活多变。现有一定能 D。 R基实行索引。 的难度。暂不考虑。基于统计的分词则基于词语出现频率来选而2 L cn . u e e简介

21 L c n . u e e原理

择分词。我们要得到这样一个统计数据也有一定困难。而因此我们选择基于词库的分词方法，由于词库很容易扩充。因此有方

L cn u ee的检索原理是索引搜索。即用空间换时间的手段。便。洁且易于扩展的优

势。 简 对需要的检索内容预先建立索引 .检索内容时只需要在索引上基于词库的分词。首先得收集一个词库。后在词库中使用然

检索即可。得到检索位置。这个位置记录了检索内容的具体信最大匹配或逆向最大匹配等算法匹配分词。 息，文件路径，个关键字等。虽然建立索引需要占用额外的 321最大匹配法如某 ..空间，是占用的空间相对得到的效率来说微不足道 (引文件但索顾名思义，大匹配就是匹配词库重最大的词。如词库中最比大概占内容大小的 3%) 0。有中华，中华人民，华人民共和国。那么用最大匹配法对字符中22L cn特点 . u ee221开放源码 ..

串”华人民共和国是……”行分词的时候 .么就匹配最大中进那串”中华人民共和国”然后下一个词从“”始继续向后最大 .是开

由于其开放源码的特性 .任何人都能从其网站上获得最新匹配。 的源码。就允许我们修改其源码。这进行二次开发，展其功能。 322分词算法扩 ..如增加中文支持。多文件格式的的支持等。对 假设对 S SS …进行正向最大匹配分词，其分词算= 3… S 22速度快 .. 2法可描述如下： L cn u ee核心是一个倒排文件索引的引擎。把每一个检索它词的哈希值存放在一个数据块中 .这样查找的效率要比关系型数据库的索引快很多 223多数据类型支持 .. L cn u ee支持多种数据类型，如数值型，日期型，符串等。字 22动态增加删除索引项 .. 4 ()一字 S1在词表中查找 S。并保存是否成词标记； 1取，, (】取一字 S2,断词表中是否有以 S S为前缀的词； 2再 判。2

(不存在， C为单字，次分词结束； 3 )则 一 ()在，断 SS是否为词，取以 SS为首的多字词的个 4存判。 2并。2数 n:

(如 n为 0一次分词结束； 5 ), 在索引被打开的情况下允许动态的增加或者删除其中的索 ()则再取一字 S,断词表中是否有以 SS… .;前缀 6否 i判 2 S为引项。于打开

索引是一个比较耗时的操作 .由因此这样可以减少的词：

关闭打开索引的次数。高效率。提 225多字段索引项 ..

()不存在， 7若则返回最近一次能够成词的 SS… .。 2

(1则转 (1 8否 6; 可以把一个文件的多个部分进行按字段分别索引 .就像关 f1字 S开始下一次分 9从 i系型数据库的单表多索引同样效果。这样我们查找的时候可以 33文件分析器扩展 .选择性的按某个字段进行查询。大提高速度。大 由于文件格式有多，们这里只扩展具有代表性的 WO。我 D R 226占用内存小 .. P F文件。 D

即使建立的索引很大，是占用内存最小可以仅仅 1 但 M。23L c n . u e e的不足

331读取 WO D . . R P I是 a ah开源组织的一个开源工具包 .提供了很多 O又 pc e

231不支持中文分词 ..有用的 A I操作 oi P来 fc e文档， w r,p等。读取 w r内容如 od p t od由于中文分词的特殊性。L cn uee在设计时并没有考虑亚洲的示例代码如下： 文字如中，,文的支持。因此不能对有中文内容的文件进行 Fllp tu a i nw F enuSra (d/ cn/ s.o”日韩 i n uS￣m n: e d lp tt m":u eet t e) e e l e d: Wo E t c r x at。nwWo E t ao; r x a￣ t c r e d r er o r xa r d r O有效的索引和查找 23只支持文本格式的文件 .2 . (转第 15页 )下 2