基于Heritrix的Web信息抽取

基于heritrix的web信息抽取

<<信息技术

基于Heritrix的Web信息抽取

陈俊彬　曹树金

中山大学资讯管理系　广州510006

〔摘要〕针对现阶段Web信息抽取技术的不足,提出一种基于Heritrix的精确抽取方法,由三个分别独立的功能模块共同完成。与一般信息抽取不同,本方法注重于在精确抽取的前提下实现通用化,做到可以根据数据库表的字段来进行最小单位的信息抽取,并且较好地解决信息采集通用性和准确性之间的矛盾。〔关键词〕Heritrix　信息抽取　HTMLparser　Web数据采集〔分类号〕G250.73

WebInformationExtractionBasedonHeritrixChenJunbin　CaoShujin

DepartmentofInformation510006

〔Abstract〕introducesaccurateinformationextractionbasedonHeritrixaccordingtotheshortageofWebinfor2

mationextractiogy.Thesystemiscomposedofthreerespectivemodule.Differentfromusualwayofinformationextraction,themethodisfocusonprecisionaswellasgenerality.Itcanextracttheminimumunitofinformationaccordingtothefieldoftableindatabase.

〔Keywords〕Heritrix　informationextraction　HTMLparser　Webinformationacquisition

的信息抽取技术需要用户的大量参与,但自动化程度

1　引　言

　　Web信息抽取(Webinformationextraction,WIE)的目标是把文本里包含的信息进行结构化处理,转化成特定的结构,以便于理解和利用。随着Internet的迅猛发展,Web已经成为全球传播与共享科研、教育、商业和社会信息等最重要和最具潜力的巨大信息源。面对如此巨大的互联网信息库,如何快速、有效、经济地得到某个主题的所有相关信息就成了当前一个十分热门的研究课题。与传统的信息资源相比,Web上信息资源有着分布性、异构性、开放性、动态性和庞大性等特点,这些特点导致Web上数据的信息接口和组织形式各不相同,也使得Web上的信息资源不能被有效的利用。在这样的背景下,Web信息抽取技术成为了研究的热点。

不高;而自动化程度高的抽取技术其准确率和适应性较低,实用性较差。即使是机器学习,也要通过大量的样本学习来提高获取规则的自动化程度,这意味着系统需要经过较长时间的学习才能获得较好的查准率。　　纵观信息抽取技术的发展历史,研究者们提出了不少优秀的抽取策略

[1]

。从实现方法的原理出发,可

以将信息抽取技术划分为4个类别:①基于自然语言理解方式;②基于ontology方式;③基于网页结构特征方式;④基于统计学习的方式。基于自然语言理解方式的信息抽取在一定程度上借鉴了自然语言处理技术,利用子句结构、短语和子句间的关系建立基于语法和语义的抽取规则,实现信息抽取。其缺点是抽取速度慢,使用范围窄,很难做到通用。基于ontology方式主要是利用对数据本身的描述信息实现抽取,对网页结构的依赖较少。只要事先创建的应用领域的ontolo2

gy足够强大,系统可以对某一应用领域中各种网页实

2　文献综述

　　在Web信息抽取领域中,信息抽取的准确性和通用性之间的矛盾一直是该研究领域的难题。性能较好

现信息抽取。目前只能对特定领域构建,并且还只能采用半自动的方式由人工参与,这样使得该方法要求很高,工作量巨大。基于网页结构特征方式

[2]

的特点

是根据Web页面的结构来定位信息,在信息抽取之前

　　收稿日期:2008-07-22　　修回日期:2008-09-11　　本文起止页码:112-115　　本文责任编辑:易　飞

　　 112LIBRARYANDINFORMATIONSERVICE

基于heritrix的web信息抽取

>>

第53卷第 期　2009年5月　　

通过解析器将Web文档解析成语法树,然后通过自动或半自动的方式产生抽取规则,最终转化为对语法树的操作来实现信息的抽取,本策略实现简单,抽取的准确性好,但要求人工参与。基于统计学习的信息抽取策略是根据统计学原理

[3]

面采集到本地上,通过设定规则,可以保证系统只存储待分析的目标页面,对页面清洗模块的标准化提供很大方便。页面清洗模块负责对高度统一的目标页面进行清洗,最终提取出结构化文本,由数据库模块存入对

应的库表字段中。

,首先构造一个模型以模拟

信息抽取的过程,应用统计学方法从训练语料中得出模型的参数;然后用训练好的模型对待抽取语料进行信息抽取。该方法需要经过较长时间的样本学习,且实现复杂。

　　对信息抽取技术的划分标准其实有很多,并不限于以上所提。各种信息抽取策略针对特定的场合都有其独特的优势,也有其相应的缺点。其中,基于网页结现起来相对简单,的研究中DOM树的自动抽取和基[4]

图1　系统结构

　　,,,,入口//http://doc.guandang.net/bbsall,即所有版面列表。在数据采集模块,Heritrix根据入口地址与自定义的网址筛选规则,开始对种子URL进行分析,动态取回符合条件的目标页面文本,即论坛帖子的html代码,直到遍历完站点内的所有URL,为页面清洗模块提供统一的目标页面。在页面清洗模块,由HTMLparser和正则表达式对Heritrix采集下来的原始页面进行清洗,使之转换为所需的结构化文本,最终由数据库模块存入oracle数据表中,以供后续分析和使用。

。这类方法重点关注信息抽

取的通用性,在准确性方面有待提高。正如前文所述,通用性和准确性之间的矛盾一直是信息抽取领域的难题,然而现阶段在保证信息抽取的准确性,又不失通用性的方面还没有较为理想的实现方法。大部分的抽取方法都是重点先考虑通用性;也有一些文献提出了很好地很精确的抽取方法,但是却没有实现相对通用性,抽取系统的可移植性和可维护性很差,也难以应对千变万化的Web页面。

4　系统实现

4.1　数据采集模块

　　数据采集模块主要由Heritrix来完成。Heritrix是一个由Java开发的开源Web爬虫系统,用来获取完整的、精确的站点内容的深度复制,可通过Web用户界面启动、监控、调整,允许弹性地定义要获取的URL。其最出色之处在于强大的可扩展性,允许开发者任意选择或扩展各个组件,实现特定的抓取逻辑,而且重新爬行对相同的URL不针对先前的进行替换,其默认提供的组件完全支持传统爬虫的工作。　　在Heritrix架构中

[7]

[6]

3　系统分析与设计

　　笔者在实践的基础上提出一种以Heritrix为基础,结合HTMLparser的信息抽取思路,下面将给出具体实现方法和抽取系统。本方法注重于在精确抽取的前提下实现通用化,做到可以根据数据库表的字段来进行最小单位的信息抽取,并且较好地解决信息采集通用性和准确性之间的矛盾,同时具有较好的可扩展性和抽取速度。

　　本抽取系统主要用于对论坛信息的精确抽取,以实际的例子来阐述一种信息抽取的思路,在设计上采用分层与模块分治的设计思想,保证系统有良好的移植性和扩展性,这个对于变化无常的Web信息来说非常有必要。

　　系统主要包括三个模块

[5]

,中央控制器CrawlController

是核心组件,决定了整个抓取任务的开始与结束。用户在HeritrixwebUI控制台设置抓取任务后,heritrix首先构造XMLSettingsHandler对象,然后调用CrawlCon2

troller的构造函数,构造一个CrawlController实例并初

始化,这样CrawlController就具备了运行条件。此时,只需调用requestCrawlStart()方法就可以启动线程池和Frontier,以便向线程池中工作线程提供抓取用的

URL链接(最开始的是设置 …… 此处隐藏：5940字，全部文档内容请下载后查看。喜欢就下载吧 ……