如何使用开源工具构造小型搜索引擎

使用开源引擎Lucene搭建小型搜索引擎

利用开源工具构造小型WEB搜索引擎 利用开源工具构造小型WEB搜索引擎信息检索研究室 苏绥

1

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

联系方式雅虎群组/dlutir

Email:dlutir@ QQ:279361581 地址：创新园大厦A0923室2

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

提纲Web信息的搜集 基于LUCENE的索引与检索 基于Tomcat的Web服务

3

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

目标– 理解搜索引擎的工作原理 – 搭建一个可运行的实验系统

4

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

最简单的搜索引擎框架

spider 索 检 索引 索 … spider 引

用 户 接 口

www

5

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集-概念原理： 原理：把整个互联网看成一个大的图，则信息搜集可以看成是图 的遍历。 信息采集系统也常常称为Robot, Spider, Crawler等等

目标： 目标：快速获得高质量的网页 实际上是图的遍历过程通过种子页面或站点(Seed),获取更多的链接，将它们作 为下一步种子，不断循环。 这个过程一般永远不会结束！6

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集-策略 广度优先 vs. 深度优先– 宽度优先：先采集完同一层的网页，再采集下一层网页 – 深度优先：先沿一条路径采到叶节点，再从同层其他路径进行采 集 – 有研究表明：广度优先的方法得到的网页集合的重要性更好

网站采集 vs. 全局URL采集 全局URL采集– 网站采集：一个网站一个网站采集 – 全局URL采集：将所有URL放入一个URL池，从中使用某种方法 全局URL采集：将所有URL放入一个URL池，从中使用某种方法 进行选择 – 网站采集在支持应用方面灵活性大一些，但是采集效率可能不如 全局URL采集，通常的搜索引擎采用全局URL采集的方法。 全局URL采集，通常的搜索引擎采用全局URL采集的方法。

孤立站点– 用户提交7

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-信息指纹的应用概念任何一段文字信息，都可以对应一个不太长的随机数，作 为区别它和其它信息的指纹(Fingerprint)。 如：MD5算法，可以把任意长信息变换成16个字节的整数 MD5 16

用途加密、信息压缩

信息指纹在爬虫中的应用 URL的压缩8

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-网页的维护与更新批量搜集每次搜集替换上一次的内容

增量搜集开始时搜集一批， 往后：1、搜集新出现的网页；2、搜集在上次搜集后有改变的网页； 3、删除上次搜集后不存在的网页 如：北大天网

比较： 定期批量重采非常简单，但是浪费带宽，周期也长； 增量采集可以节省带宽，网页更新周期相对较短，但是系统的复杂 性增大。9

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-速度保证 本地DNS解析 本地DNS解析 持久化链接(HTTP1.1) 持久化链接(HTTP1.1) 多机分布式并行– 局域网联接多机进行并行采集 –

广域网分布式采集

单机多程序并行– 多进程并行 – 多线程并行

10

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-质量保证 减少重复页面的采集– URL重复的检测和排除 URL重复的检测和排除 – 内容重复的检测和排除

保证重要页面的高优先级– 入度高的网页相对重要 – URL浅的网页相对重要 URL浅的网页相对重要 – 含有被别人广泛链接的内容的网页重要

11

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 礼貌” 信息的搜集-“礼貌” 遵守网站上发布的Robot.txt 采集限制 遵守网站上发布的Robot.txt 协议 搜集时尽量不要太过密集地采集某个网 站，这种密集访问类似于DoS攻击，导 站，这种密集访问类似于DoS攻击，导 致普通用户正常浏览网站产生困难。有 些网站会严密控制这种密集访问行为。

12

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 协议 信息的搜集-Http协议HTTP :是超文本传输协议的缩写，用于传送WWW方式的数据，关于HTTP协议的详细内容请参考RFC2616

模型 ：请求/响应 客户端向服务器发送一个请求，服务器以一个 状态行作为响应，客户端根据此状态做出操作。 客户端请求消息：请求的方法、URI、协议版本、以及包含请求修饰符、客 户信息和内容的类似于MIME的消息结构。

服务器端响应消息：协议的版本、成功或者错误编码、实体元信息以及可能的 实体内容。13

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 消息 信息的搜集-Http消息组成： 组成： 请求消息请求头，通用头，实体头

响应消息响应头，通用头，实体头

格式： 格式：每个头域由一个域名，冒号(:)和域值三部分组成。 域名是大小写无关的，域值前可以添加任何数量的空格符，头域可以被 扩展为多行，在每行开始处，使用至少一个空格或制表符。

14

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-请求消息第一行格式： MethodSPRequest-URISPHTTP-VersionCRLF Method:表示对于Request-URI完成的方法，这个字段是大小写敏感的，包括GET、 HEAD、POST、PUT、DELETE、TRACE。其中，方法GET和HEAD应该被所有的通用 WEB服务器支持，其他所有方法的实现是可选的。 GET方法：取回由Request-URI标识的信息。 HEAD方法：也是取回由Request-URI标识的信息，只是可以在响应时，不返回资源数据。 POST:方法可以请求服务器接收包含在请求中的实体信息，可以用于提交表单，向新 闻组、BBS、邮件群组和数据库发送消息。 SP:表示空格。 Request-URI:遵循URI格式，在此字段为星号(*)时，说明请求并不用于某个特定的 资源地址，而是用于服务器本身。 HTTP-Version:表示支持的HTTP版本，例如为HTTP/1.1。 CRLF:表示换行回车符。15

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-请求消

息 典型的请求消息：GET /somedata HTTP1.1 Host::80 Cache-Control:no-cache Referer:/ User-Agent:Mozilla/4.04[en](Win95; Nav) Range:bytes=255-

16

2011-6-3

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-请求消息 Host头域 Host头域指定请求资源的Intenet主机和端口号，必须表示请求url的原始服务器或网关的位置。 HTTP/1.1请求必须包含主机头域，否则系统会以400状态码返回。 Referer头域 头域 Referer头域允许客户端指定请求uri的源资源地址，这可以允许服务器生成回退链表，可用来 登 陆、优化cache等。它也允许废除的或错误的连接由于维护的目的被追踪。如果请求的uri没有自己 的uri地址，Referer不能被发送。如果指定的是部分uri地址，则此地址应该是一个相对地址。 Range头域 头域 Range头域可以请求实体的一个或者多个子范围。 例如， 表示头500个字节：bytes=0-499 表示第 …… 此处隐藏：2896字，全部文档内容请下载后查看。喜欢就下载吧 ……