面向网络化制造资源的垂直搜索技术研究与应用

本文是在谢庆生教授主持的中国国家自然科学基金资助项目”面向协同商务 制造资源管理的关键技术研究”(计划批准号:50475185),国家863计划项目”面向 机电行业的ASP 应用服务平台开发与

贵 州 大 学 2007届硕士研究生学位论文

面向网络化制造资源的垂直搜索技

术研究与应用

学科专业：机电一体化

研究方向：计算机集成制造系统

导 师：尹健 教授、谢庆生 教授

研 究 生：程 锦

中国﹒贵州﹒贵阳

2007年5月

本文是在谢庆生教授主持的中国国家自然科学基金资助项目”面向协同商务 制造资源管理的关键技术研究”(计划批准号:50475185),国家863计划项目”面向 机电行业的ASP 应用服务平台开发与

摘 要

本文是在谢庆生教授主持的中国国家自然科学基金资助项目”面向协同商务制造资源管理的关键技术研究”(计划批准号：50475185)，国家863计划项目”面向机电行业的ASP应用服务平台开发与应用”(课题编号：2003AA414013、2004AA414070)，国家863计划项目”面向ASP平台的产品创新设计与制造资源管理构件的研究和应用”(课题编号：2002AA415310)等项目的支撑下，以制造业信息化理论方法为基础，以区域汽车零部件等行业为应用背景，对网络化制造系统建模及应用实现等进行研究。

网络化制造资源检索是企业信息化的基础，也是实现网络化制造的有效途径。其核心是利用网络，寻求合适的企业合作伙伴，实现企业间的资源共享、优势互补，提高企业竞争力。这也是本论文的研究目的。在实验室现有研究的基础上，本文着重研究了面向网络化制造资源检索系统的主题爬虫设计和中文分词技术。主题爬虫技术主要包括种子链接的获取、爬行算法、相似度分析、页面解析、摘要技术等。通过在主题爬虫中增加评价网页模块，让程序优先抓取与主题相似度高的网页中的链接，提高了爬虫的工作效率。在中文分词模块，通过一种改进的词典存储格式及相应的切词算法提出了一种改进的RMM中文分词算法。

系统的索引与检索模块，主要应用Lucene技术。并在研读Lucene源码的基础上，封装了自行设计的中文分词模块，改善了Lucene的中文分词性能，以达到系统对中文分词的需求。系统后端编码采用面向对象的Java语言，特别是用Java的多线程技术来协调各模块的工作，以充分利用计算机资源。前端设计主要采用JSP技术。主要利用它生成的结果与显示可以相分离、简洁的WEB页面和它拥有Java所有优点等特点。最后对系统进行了测试分析。

关键词：网络化制造；制造资源；页面解析；主题爬虫；中文分词；Lucene 分类号：TP391

本文是在谢庆生教授主持的中国国家自然科学基金资助项目”面向协同商务 制造资源管理的关键技术研究”(计划批准号:50475185),国家863计划项目”面向 机电行业的ASP 应用服务平台开发与

Research and Application of Vertical Search Engine

in Manufaturing Resources

Summary

As a part of the project of “the key technology of network manufacturing resource management aiming at Cooperation business” and “The ASP manufacturing platform aiming at machine and electronics” that undertoken by professor QS.Xie, the research project was financed by “The National science finance ”and “The Main Plans of The National Project 863 / CIMS ”.

The effective and accurate retrieval of manufacturing resource is the base of enterprise informatization, it is one of requisitions to realize the network manufacturing as well. The key is how to select the appropriate manufacture resource combination from dispersive manufacturing resources then satisfies the demand of fast processing, promoting the new product. This paper pays an emphasis on studying the technologies of the system, including the topic crawler and the Chinese word segmentation. The technologies of the topic crawler including how to obtain the seed links, the crawle algorithm, the analyses of the similitude degree, html parser, the technologies of abstract and so on. To improve the efficiency of the crawler, a model of page evaluating was added into the crawler module; therefore the urls in a page with a high similarity of the topic will be first crawled. A improved word segmentation was proposed by redesigning the store formatter of the major dictionary and the algorithm of word segmentation on the Chinese word segmentation module.

The lucene technology was used on the module of the index and retrieves of the system. To improve the efficiency of the lucene`s word segmentation and meet the system’s requirement of world segmentation, a new word segmentation algorithm was added to instead of lucene`s. The resources code was written in Java, a object oriented program language. To make full use of the computer resources, the technology of muti-thread was used in this system. To get the concise web pages and make different pages of showing the results and producing the results, the server script language JSP was used, with the same advantage of the Java. A test was carried on at the end.

Key Words: network manufacturing; manufacturing resources; html parser; topical crawler; word segmentation; lucene.

本文是在谢庆生教授主持的中国国家自然科学基金资助项目”面向协同商务 制造资源管理的关键技术研究”(计划批准号:50475185),国家863计划项目”面向 机电行业的ASP 应用服务平台开发与

目 录

第一章 前言........................................................1

1.1课题背景及来源...............................................1

1.2研究目标及意义...............................................1

1.3国内外研究进展...............................................2

1.4已具备的基础和科研条件......................................3

1.5本论文组织结构及主要创新点..................................4

第二章 网络化制造资源与搜索引擎概述.................................5

2.1网络化制造资源...............................................5

2.1.1制造资源定义及分类.....................................5

2.2搜索引擎.....................................................7

2.2.1 搜索引擎的起源及发展..................................7

2.2.2搜索引擎的原理.........................................8

2.2.3 搜索引擎的分类.........................................9

2.2.4 搜索引擎的主要评价指标...............................10

2.3网络化制造资源垂直搜索系统的特点...........................11

2.4网络化制造资源垂直搜索系统的模 …… 此处隐藏：18700字，全部文档内容请下载后查看。喜欢就下载吧 ……