基于垂直搜索的机票搜索系统的设计与实现

关于搜索的论文

第２５卷第６期２００８年６月

计算机应用与软件

ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ

Ｖ０１．２５Ｎｏ．６

Ｊｕｎ．２００８

基于垂直搜索的机票搜索系统的设计与实现

胡晶晶１’２

钱

湘１，２赵志强１

１（中国科学院声学研究所ＤＳＰ中心北京１０００８０）

２（中国科学院研究生院北京１０００３９）

摘要基于对象的垂直搜索引擎越来越受到人们的关注，结合这一热门技术，详细介绍了机票比价搜索系统的设计与实现。该

系统基于垂直搜索的思想，采用模板方式的网页抽取技术，提供给用户全面的机票信息。

关键词

垂直搜索

网页信息抽取结构化数据

ＤＥＳＩＧＮＡＮＤ

ＩＭＰＬＥＭＥＮＴＡＴＩＯＮ

ＯＦＡＩＲＴＩＣＫＥＴＳＳＥＡＲＣＨＩＮＧＩＮＧＳＹＳＴＥＭ

ＢＡＳＥＤＯＮＶＥＲＴＩＣＡＬＳＥＡＲＣＨ

Ｈｕ

Ｊｉｎｇｊｉｎ９１ ２Ｑｉａｎ

Ｘｉａｎ９１ ２

ＺｈａｏＺｈｉｑｉａｎ９１

’（ＤＳＰＣｅｎｔｅｒ，ＩｎｓｔｉｔｕｔｅｏｆＡｃｏｕｓｔｉｃｓ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，＆讲，ｌｇ１０００８０，Ｃｈｉｎａ）

２（Ｇ捌眦Ｕｎｉｖｅｒｓｉｔｙ

Ａｂｓｔｒａｃｔｐａｐｅｒｇｉｖｅｓ

ａ

ｏｆｔｈｅＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００３９，Ｃｈｉｎａ）

ｉｎｃｒｅａｓｉｎｇａｔｔｅｎｔｉｏｎｉｎ

ｒｅｃｅｎｔ

Ｏｂｊｅｃｔ－ｏｆｉｅｍｅｄ

ｖｅｒｔｉｃａｌｓｅａｒｃｈｅｎｇｉｎｅ

ｔｏ

ａｔｔｒａｃｔｓ

ｄａｙｓ．Ｃｏｍｂｉｎｅｄｗｉｔｈｔｈｉｓｐｏｐｕｌａｒｔｅｃｈｎｏｌｏｇｙ，ｔｈｅ

ｏｎ

ｄｅｔａｉｌｅｄｉｎｔｒｏｄｕｃｔｉｏｎ

ｔｈｅｄｅｓｉｇｎａｎｄｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＡｉｒｌｉｎｅＴｉｃｋｅｔｓＳｅａｒｃｈｉｎｇＳｙｓｔｅｍ．Ｂａｓｅｄ

ｕｓｅｒｓ

ｖｅｒｔｉｃａｌｓｅａｒｃｈｉｎｇｉｄｅ—

ａ，ｔｈｅｓｙｓｔｅｍａｄｏｐｔｓｗｅｂｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｔｅｃｈｎｏｌｏｇｉｅｓｗｉｔｈｔｅｍｐｌａｔｅａｐｐｒｏａｃｈ，ｗｈｉｃｈｐｒｏｖｉｄｅｓｔｈｅｉｎｆｏｒｍａｔｉｏｎ．

Ｖｅｒｔｉｃａｌｓｅａｒｃｈ

ｃｏｍｐｒｅｈｅｎｓｉｖｅａｉｒｌｉｎｅｔｉｃｋｅｔｓ

Ｋｅｙｗｏｒｄｓ

ＷｅｂｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎＳｔｒｕｃｔｕｒｅｄａｔａ

点。

０引言

（２）垂直搜索引擎的搜索行为是基于结构化数据和元数据的结构化搜索。

（３）除排名和竞价之外，垂直搜索还有其它多种广告盈利模式。由于垂直搜索能提供更为集中的受众群体，因此其“每次点击有效率”相比通用搜索更为有效。

随着网络信息的高速膨胀，通用搜索已不能满足用户更加个性化、细化的信息需求，人们呼唤更有针对性、精确性的搜索技术，于是垂直搜索应运而生。Ｙａｈｏｏ旅游搜索、Ｇｏｏｇｉｅ本地搜索、Ｂａｉｄｕ地图搜索等都是基于垂直搜索的应用实现。

目前提供机票预定的网站很多，如何让用户从众多网站中选取价格合适的机票成为一项紧俏的需求。针对这项业务需求，在垂直搜索的基础上，本网站开发出机票比价搜索系统。

１．２关键技术

垂直搜索引擎实现流程是ｓｐｉｄｅｒ抓取网页，对网页进行分类、信息提取，即将网页的非结构化数据抽取成特定的结构化数据，将这些数据存储到数据库，进行进一步的加工处理，如去重、分析比较等，最后通过分词索引提供用户搜索。

上述流程中最关键的就是将非结构化数据按照需求抽取成结构化数据，这也是垂直搜索引擎和通用搜索引擎的最大区别。目前主要有两种方式ｐｏ实现结构化信息抽取。

（１）网页库级结构化信息抽取

采用页面结构分析与智能节点分析转换的方法，自动抽取结构化数据。该方式可对任意的正常网页进行抽取，完全自动化，智能抽取准确率高。但由于需要通用性良好，其技术实现难度较高，前期研发成本高、周期长，仅适合高端应用。

（２）模板方式

模板方式是事先对数据源的网页结构进行分析，针对不同的结构，进行模板匹配。在抽取模板中运用特定的正则表达式，对有限个网站的信息进行精确采集。该方式的实现过程较为简

收稿日期：２００６—０８—２９。胡晶晶，硕士生，主研领域：宽带通信。

１垂直搜索引擎

１．１概述

垂直搜索…是针对某个行业的专业搜索，是搜索引擎的细分和延伸，是对网页库中某类专门的信息进行整合，分字段抽取需要的数据进行处理后再以某种形式返回给用户。

垂直搜索是一种垂直的对象搜索技术旧Ｊ。所谓“垂直”，是指该技术指向某一特定领域，如购物、机票等。“对象”是指搜索引擎在反馈搜索结果时，不再表现成一个个独立的页面，而是将各页面的相关信息按照用户的需求集合成一个个完整的项

目。

垂直搜索引擎具有以下三个特点…：

（１）垂直搜索引擎获取的数据来源于某些特定的行业站

万方数据　

关于搜索的论文

第６期胡晶晶等：基于垂直搜索的机票搜索系统的设计与实现

１３９

易，针对数据源的网页结构，可轻松地配置模板，准确率高、实时性强、方便快捷部署。但在信息源多样性和不稳定的情况下维护量巨大，故这种方式适合相对固定的有限个信息源的信息处理。

ｆｐｕｔＢ（￥ｆｐ，￥ｓｔｒ）；

￥ｓｔｒ＝”；

／／￥ｓｔｒ为带有查询参数的Ｈｔｔｐ请求

ｗｈｉｌｅ（！ｆｅｏｆ（Ｓｆｐ））｛

￥ｏｕｔ＝舶ａｄ（￥ｆｐ，１０２４）；

……ｌ

／／返回结果源文件

２机票比价搜索系统的实现

２．１系统主要功能

该系统根据用户输人的查询信息，从国内多个机票预定网ｆｅｌｏｓｅ（Ｓｆｐ）；

（３）核心层

系统的核心模块就在此层。由于结果页面的源文件中包含众多无用信息，如何从中获得有关机票的有效信息就由数据抽上获取数据，通过核心处理层，利用模板技术将有效数据抽取、结构化后，按照定义好的格式统一呈现给用户。

通过该系统，用户能够快捷、全面地获取机票信息，包括数据来源、航空公司、机场、起飞时间、到达时间、折扣、票价等。该系统是用户高效查询、订购机票的服务平台，用户可以依照不同需求，从众多的信息中选择合适的进行相应操作。

２．２体系结构设计

本系统的信息来源主要来自国内大型的机票预定网，如ｅ龙、携程等，站点数较少，且需要■

＾

量＿’赣－＾曩婕

满足实时搜索，不能事先采集机耻

●

票信息存人数据库。鉴于所需量由参氟分敖ｌＩ块

■

撼的信息源站点数量有限并相对鼍

匿函豳豳…，●

固定，以及对实时性和精确性的需求，此系统选用模板方式设●心

率中牵计。系统实现的代码编写由Ｈ

豳豳盛豳

ＰＨＰ和ＪａｖａＳｃｒｉｐｔ来完成。系统ｉ

‘‘

。ｊ

▲－姑曩生成橇壤

体系结构如图１所示。

；｜ｌ

…… 此处隐藏：6458字，全部文档内容请下载后查看。喜欢就下载吧 ……