基于本体及相似度的文本聚类研究

为了改善文本聚类的质量,得到满意的聚类结果,针对文本聚类忽略概念的内涵及缺少概念间的联系,设计和改进了基于本体和相似度的文本聚类方法TCBOS(textclusteringbased on ontology and similarity)。研究了文本预处理及分词的方法,设计了用有限状态自动机来自动提取概念和关系的方法,对概念语义扩展和相似度计算方法进行了改进和完善,通过应用本体的语义相似度来度量文档间相近

第2 7卷第 7期21 0 0年 7月

计算机应用研究Ap l a in Re e r h o o u e s p i t s a c fC mp tr c o

Vo . 7 No 7 12 .

J 1 01 u.2 0

基于本体及相似度的文本聚类研究王刚，邱玉辉(. 1安康学院电子与信息工程系，陕西安康 7 5 0 2 00;2西南大学语义网格实验室，重庆 4 0 1 ) . 0 75摘要：为了改善文本聚类的质量，到满意的聚类结果，对文本聚类忽略概念的内涵及缺少概念间的联系，得针

设计和改进了基于本体和相似度的文本聚类方法 T B S t t ls r gb sdO no g n i l t) C O (e ut i ae iotl ya ds a y。研究了 xc e n l o mir i

文本预处理及分词的方法，计了用有限状态自动机来自动提取概念和关系的方法，设对概念语义扩展和相似度

计算方法进行了改进和完善，通过应用本体的语义相似度来度量文档间相近程度，完善了根据相似度进行文本聚类的 K中心点算法。实验证明，该方法从聚类的准确性和聚类的关联度方面改善了聚类质量，文本的自动为分析和推荐提供了一条途径。关键词：本体；相似度；文本聚类；语义

中图分类号：T 3 1 P1

文献标志码：A

文章编号：10—6 5 2 1 )7 2 9—4 0 1 3 9 ( 0 0 0—4 4 0

d i1 . 99 ji n 10—6 5 2 1 .7 0 6 o:0 3 6/.s .0 139 .0 0 0 . 2 s

S u y O e tc u t rn a e n o tl g n i l rt t d n t x l se i g b s d O n o o y a d smia iyWA G G n .Q U Y—u N ag I uhj( . et fEet nc& I omai nier g A kn nvrt, na gSa ni 20 0 hn;2 Sm ni Gi aoao Suh 1 Dp.o l r i co n r tnE gnen, nag U i sy A kn h a x7 5 0,C ia .e at r L brty, ot f o i ei c d rW s U i r t,C o g ig4 0 C ia e n e i t v s y h n q 0 7 n 1 5, hn )Absr c t a t: To i r v h uai ftx

lse ig a d g tte s tsa tr l se ig rs ls t i pe r p s d at x l se mp o e te q lt o e tcu trn n e h a ifco y cu trn e ut,hspa rp o o e e tcu t— y

r gbsd o m l i n no g ( C O ) B ra i n x a no g, i p p r eees e r e t h e n g i ae ns i r ya do tl y T B S . yog n igt t sotl y t s a e w r ayt r e n tem a i s n i at o z e o h o p s na d r lto so o e s T spa e e in d a mpr v d te me s r me to i i rt nd me s r d t e tsmiaiy by n ea in fc nc pt. hi p rd sg e nd i o e h a u e n fsm l iya a u e he tx i lrt a smiaiy o e to t lg, sg e h lo t i lrt ftx n oo y de in d t e ag r hm ftx lsei g b s d o i lrt Ex e i n ss w h tt to a i o e tcu trn a e n smia i y. p rme t ho t a he meh d c n a od u i gt etr ioain a d hih d i n i n l n a mp o et l trngq ly i o rc in d ge n s o ito v i sn h e m s lt n g— i o ne so a,a d c ni r v hecuse i uai n c re to e re a d a s cain t de r e,t S awa o a lz hetx uo tc ly. g e i’ y t nay e t e ta tma ial Ke r s: o tlg; sm i rt y wo d noo y i l iy; tx l trng; s ma i a e tcuse i e nt c

K m asT U P等，— en、C A都不能很好地解决上面提到的问题。一

0引言 聚类是将物理或抽象对象集合按有关特性的相似程度进

些基于语义相似度的文本聚类算法，文献[]只是将文档如 1,表示成一个个孤立的名词列表，表中的名词互不

相同。以这列

行分组的过程。聚类产生的每一组数据称为一个簇，中每一簇个数据称为一个对象。聚类的目的是使同一簇中对象的特性尽可能地相似，不同簇对象之间的差异尽可能地增大。聚类而

种文档表示法为基础的聚类分析，忽略了概念间的语义联系和语义扩展，还有一种方法是将文档表示成 D:{, ) (, (, )…,, ( ) 。其中： w表示在一个文档中出现的概念，厂为“文档中出现的次数。把这种文档表示法称为概念列 0在表，由于把概念表示为词列表，略了概念的语义内涵，用忽采的相似度计算方法也过于简单。概念相似性度量在服务选

作为一种无监督的学习方法，能从数据集中发现数据的分布情况，是一种强有力的信息处理方法。随着 www以及各种文本资源的不断增长，本聚类得到越来越多的重视，很多文文在

本挖掘和信息检索系统中发挥着重要的作用。快速和高质量的文本聚类技术可以将大量信息组织成少数有意义的簇，可以改善检索性能、提供导航与浏览机制、现和推荐相似文档发

择、自然语言理解、文献检索等领域具有重要的作用。当前

主要模型共同的特点是注重对象相似属性的个数，忽略了属性重要性的差异以及属性的语义扩展。

等，文本聚类研究成为数据挖掘的一个非常重要的课题。与以往的聚类应用相比，文本聚类面临的挑战有：)于非常 a由

本体的构建称为本体工程，面对海量的数据，用手工的方法建立本体是不可取的，究自动构建本体具有重要的意义。研 本体学习就是通过机器学习技术，减少建立和管理本体的负来担。本文认为语义是关系语义，如概念之间的关系，属、定从否

高的数据维数，要求聚类算法能够处理稀疏矩阵，或者对矩阵降维； ) b数据库规模可能非常大(如万维网)要求聚类算法对，大型数据库也要有很高的分析效率； )有可以理解的聚簇 C要

及形容关系等。文献[] 6阐述的语义关系定义为词语序列之

描述，聚簇描述对于非专业用户也应该是可以理解的。目前，很多文本聚类算法，如 Sat/ a e、— en、 i cn ct rG t r K m a s Bs t g e h ei收稿日期：2 1一

l0 00 O一6;修回日期：2 1 2O 00 0 . 1(08 ky0 )基于本体的服务研究( Y D R 09 6 20 axO 5; A Q Z20 1)

问的序列关系。通过数据挖掘技术，发现词汇的序列模式，另外一种方法就是潜语义索引方法，过统计不同词在文档出通

基金项目：陕西省教育厅资助项目( 9K 1 )智能信息处理技术关键问题及应用研究 0 J 37;

作者简介：王刚( 92 )男， 17 -,四川人，博士，主要研究方向为人工智能、服务计算(kca ag 6 .O1; at w n@13 Cl)邱玉辉(9 8 ) d l 13 -,男，重庆人，教授，博导，主要研究方向为人工智能.