新的文本分类特征选择方法研究

C o m p u￣ r E n g i n e e r i n g a n d A p p l i c a t i o n s￣ f算机工程与应用

新的文本分类特征选择方法研究张玉芳，王勇，刘 明，熊忠阳ZHAN G Yu f a n g, W AN G Yo n g, LI U Mi n g, XI ONG Z h o n g y a n g

重庆大学计算机学院，重庆 4 0 0 0 4 4Co l l e g e o f Co mp u t e r, Ch o n g q i n g Un i v e r s i t y, Ch o ng q i n g 4 0 0 0 4 4, Ch i n a

ZHANG Yuf a ng, W ANG Yo n g, LI U Mi ng, e t a 1 . Ne w f e a t ur e s e l e c t i o n a p p r o a c h f o r t e x t c a t e g o r i z a t i o n .Co mp u t e r Eng i

n e e r i n g a n d Ap p l i c a t i o n s, 2 0 1 3, 4 9 ( 5 ): 1 3 2— 1 3 5 .

Abs t r a c t:F e a t u r e r e d u c t i o n i s a n i mp o r t a n t p a r t i n t e x t c a t e g o r i z a t i o n . On t h e b a s i s o f e x i s t i n g a p p r o a c h e s o f￣a ur t e s e l e c t i o n,c o n s i d e r i n g t h e d i s t r i b u t i o n p r o p e r t y o f￣a ur t e be t we e n t h e p o s i t i v e c l a s s a n d n e g a t i v e c l a s s, c o mb i n i n g f o u r me a s u r e i n d i c a t o r s

f o r￣a ur t e wi t h c a t e g o r i e s d i s t i n g u i s h i n g a b i l i t y, a n e w a p p r o a c h n a me d C o mp o s i t e Ra t i o ( C R) f o r f e a t u r e s e l e c t i o n i s p r o p o s e d .E x p e r i me n t u s i n g K - Ne a r e s t Ne i g h b

o r ( KN N )a l g o r i t h m t o e x a mi n e he t e f f e c t i v e n e s s o f C R, he t r e s u l t s h o ws t h a t a p p r o a c h h a sb e t t e r p e r f o r ma n c e i n d i me ns i o n r e d u c t i o n.

Ke ywo r d s: f e a￣r e r e d u c t i o n; t e x t c a t e g o r i z a t i o n; f e a t u r e s e l e c t i o n; Co mp o s i t eR a t i o ( C R): K- Ne we s t Ne i g h b o r ( K NN) a l g o r i t h m

摘

要：特征降维是文本分类过程中的一个重要环节。在现有特征选择方法的基础上，综合考虑特征词在正类和负类中

的分布性质，综合四种衡量特征类别区分能力的4￣￥ f -,提出了一个新的特征选择方法，即综合比率 ( C R )方法。实验采用

最近邻分类算法( N)来考查C R方法的有效性，实验结果表明该方法能够取得比现有特征选择方法更优的降维效果关键词：特征降维；文本分类；特征选择；综合比率； K -最近邻分类算法文献标志码： A 中图分类号： T P 3 9 1 d o i: 1 0 . 3 7 7 8/ j . i s s n . 1 0 0 2 - 8 3 3 1 . 1 1 0 7 - 0 5 1 2

随着计算机技术和因特网的飞速发展，互联网上的电子文档急剧增加，文本分类成为组织和处理大量文档数据的关键技术。文本分类 ( T e x t Ca t e g o r i z a t i o n )是指依据文

特征，从而提高分类的精度和防止过拟合。因此，寻求一种有效的特征选择方法，成为文本分类极为关键的环节。

本的内容，由计算机根据某种自动分类算法，把文本判分为预先定义好的类别，是信息存储、信息检索和信息推送等领域的重要课题。近年来，基于统计理论和机器学习的

1常见的特征选择方法研究特征选择对于文本分类的特征降维具有较优的效果，一

直以来它都是文本分类领域研究的热点之一。常用的

方法被应用到文本分类中来，取得了较好的效果，但在面向实际应用时文

本分类技术仍存在许多挑战。文本分类可以大致分为数据预处理、文本特征表示、 特征降维和训练分类模型 4个阶段。在文本分类系统中， 文本特征表示通常采用向量空间模型进行描述。然而原始向量空间的特征维数十分巨大，高维的特征集一方面造

特征选择方法有文档频率 ( D o c u me n t F r e q u e n c y, D F )、互信息 ( Mu ua t l I n or f ma t i o n, MI )、信息增益 ( I n f o r ma t i o n Ga i n, I G)、期望交叉熵 ( E x p e c t e d C r o s s E n t r o p y, C E)、 X2统计 ( C h i— s q u a r e S t a t i s t i c, C HI )和文本证据权 ( We i g h t o f E v i .

d e n c e or f T e x t, wE T )等。它们是通过构造某种特征评价函数，来统计文本特征空间各维的特征值，将各个特征按

成文本表示的数据稀疏问题，另一方面也包含了很多噪音

其特征值排序，并根据设置的阈值选择出合适规模的特征子集，进而选取出对文本分类贡献较大的特征，以达到降低特征空间维数的目的。Y A NG Y等人在英文文本分类

特征。这两个问题对文本分类的时间和精确度有着直接的影响，而且许多分类算法在计算上是无法处理这种高维特征向量的。有效的特征选择方法可以降低文本的特征向量维数，去除冗余特征，保留具有较强类别区分能力的

上的实验表明信息增益，期望交叉熵、 C H I和文本证据权较好，而文档频率和互信息稍差。Q I U L I Q I N G等人在中文

基金项目：重庆市科委自然科学基金计划资助项目( No . 2 0 0 7 B B 2 3 7 2 );中央高校研究生创新基金( N o . C D J XS 1 l 1 8 0 0 1 3 )。 作者简介：张玉芳( 1 9 6 5一),女，教授，主要研究方向：数据挖掘、网络入侵检测、并行计算；王勇( 1 9 8 6一),男，硕士研究生，主要研究方向：文本分类、自然语言处理；刘明( 1 9 8 6一),男，研究生，主要研究方向：数据挖掘、推荐系统；熊忠阳( 1 9 6 2一),男，博导，主要研究方向：数据挖掘与应用、网格技术、并行计算。E— m a

i l: z o n e w m@c q u . e d u . c n 收稿日期： 2 0 1 1— 0 7— 2 5 修回日期： 2 0 1 1 . 0 9— 1 3 文章编号： 1 0 0 2 - 8 3 3 1 ( 2 0 1 3 ) 0 5— 0 1 3 2 - 0 4C NK I出版日期： 2 0 1 1— 1 1— 1 4 h t t p:// w w w . c n k i . n e t/ k c ms/ d e t a i l/ 1 1 . 2 1 2 7 . T 2 0 1 1 1 1 1 4 . 0 9 3 9 . 0 2 2 . h t ml