MB-SinglePass_基于组合相似度的微博话题检测(2)

中词ｊ的ＴＦ＿ＤＦ权重，根据式（２）计算得出［１０］：

＿＜

◇ｑ２ｔ３ｂ’记ｌｌ

九

八ｒ

（２）

ｌ￡厶一最，ｉ玎２ｌｇ（詈＋ｏ．０１）

式中，￡＾ｆ表示词ｊ在帖子ｉ中的词频，ｑ表示词Ｊ在帖子ｉ出

现的次数，Ｍ表示帖子ｉ的总词数，Ｎ表示总的帖子数，以表

示出现词ｉ的帖子数。ｏ．ｏｌ是为了避免出现Ｏ值而设定的一个常量。

由于微博帖子较为简短，特征本身就比较稀疏，为了尽可

万方数据

能地利用特征信息，本文借助《同义词林》对主题的关键词向

量进行特征扩展，使关键词特征数量扩大２倍以上。本文设定各扩展特征的权重与其来源特征的权重相同。２．２主题模型

在基于向量空间模型的主题模型中，主题是由一簇帖子组成的。所以，主题向量的物理意义可以理解为主题里各帖子向量的叠加向量的平均，如图１所示。具体的主题向量生成过程是：

１．对各个主题簇内的帖子进行分词，去除停用词，去重并

计算ＴＦ＿口ＤＦ权重形成初始主题向量。

２．对经过步骤１之后形成的关键词进行特征扩展，形成

更丰富的特征向量。

３．对主题内扩展后的文本向量进行叠加平均，得到的向量即为主题向量。

图１主题向量示意图

２．３组合相似度策略２．３．１知网语义相似度

《知网》是一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库［１１］。

《知网》中有两个主要的概念：“概念”与“义原”。“概念”

是对词汇语义的一种描述。每一个词可以用一个或多个概念来描述。“概念”在知网里是用“知识表示语言”来描述的。

“义原”是描述“概念”的最小意义单位，也是“知识表示语言”

所用的“词汇”。与其他语义词典不同，《知网》并不是简单地将所有的“概念”归结到一个树状的概念层次体系中，而是试图用一系列的“义原”来对每一个“概念”进行描述。

本文使用的语义相似度方法参考了刘群、李素建的论

文——基于《知网》的词汇语义相似度计算口”，其中，针对知

网收录词，语义相似度计算包括以下几种情况：

１．实词与虚词相似度为ｏ。

２．虚词概念只有｛句法义原）或者｛关系义原｝两种描述方式，因此，两个虚词概念之间的相似度等于对应句法义原或关

系义原之间的相似度，见式（３）：

ｓｈ（众，Ａ）２南

（３）

式中，ｄ表示义原ｐ，，户。在知网义原层次体系中的路径长度，

口是一个可调节参数。

３．实词概念可以用４种不同义项类型来描述，第一种是第一基本义原描述式，是对实词最重要的一种描述；第二种是

除第一基本义原之外的其他基本义原描述式，是一个义原集合；第三种是关系义原描述；第四种符号义原描述。一般地，

两个实词概念之间的相似度可由式（４）来计算：

４

ｉ

ｓｈ（ｓ－，ｓｚ）一郛盟ｓｉ岫（ｓ ，ｓｚ）

（４）

１９９

式中，ｓ嘶（５，，Ｓｚ）（歹一ｌ，２，３，４）表示Ｓｔ和Ｓ２两个概念对应

上述４种不同义项的两两相似度。届是可调节的参数，且满足：Ｊ臼ｌ＋屈＋届＋庳一１；屉＞屉＞届＞厚。这种参数设置方法的意义是使主要义项的相似度对次要义项的相似度进行制约，维持主要义项相似度对整体相似度的主要贡献地位。例

如，如果次要义项相似度高，主要义项相似度低，那么整体相

似度也不会受到次要义项的太大影响。

针对知网未收录词，本文采用以下方法进行处理：１．对于人名

如果两个人名姓氏部分相同，则认为两者具有高相似度，如潘石屹、老潘和潘总；

如果两个人名除姓氏部分相同，则认为其具有较高相似度，如吴菊萍和菊萍；

对于外籍人名，如果存在部分相同匹配，则认为其具有较

高相似度，这主要考虑了外来词音译带来的误差，如本拉登、拉丹和本拉丹。

２．对于地名

针对知网只收录市一级及以上行政区域地名的限制，手工编制各地区简称及下属县、区地名表。对于市级以下行政级别之间的相似度，通过分别将其提升到对应的知网收录的市级以上行政区域进行相似度计算。如郑州金水区与北京朝阳区相似度，可以用知网收录词郑州与北京的相似度来近似。同时，规定属于同一市的各级行政地名之间相似度为１。如金水区与郑州市。

３．对于机构组织

对于机构组织存在简称的情况，如果两个机构名称通过了部分相同匹配，则不加区别，即相似度为１。如“住建部”与“住房与城乡建设部”相似度为ｌ。

４．其他情况

除以上情况之外，如果两个知网未收录词相同，则相似度为ｌ，否则为ｏ。２．３．２组合相似度

常用的相似度计算方法有余弦相似度、雅各比相似度ｍ］、语义相似度吲等。具体地：

余弦相似度的定义为：

ｓｉｒｎ。（加毋，加町）一—芋Ｌ—］广∑‰×Ｖｈ

（５）

（∑垤）（∑瞧）

ｎ—ｌ

Ｈ＝ｌ

雅各比相似度的定义为：

她ｃ搬，溉，一摆君剁

㈣

式中，１加ｓｎ加墨Ｉ表示帖子ｉ和帖子Ｊ的公共特征数量，

ＩｐｏｓｉＵ加ｓｌ表示帖子ｉ和帖子Ｊ的不同特征数量。借鉴信息融合中的顺序加权思想，语义相似度的定义如下：

设帖子ｉ含有优个关键词，对应的权重为让，，让。，…，

‰，见式（７）：

夕ｏＲ～［瑚，矗｛１／让１，ｔ￡舫，ｄ挖／诎２，…，ｔ￡耵ｒ矗拥／‰］

（７）

帖子ｊ含有咒个关键词，对应的权重为ｑ。，ｑｚ，…，％，见式（８）：

户。昌～［ｕｏｒ谚１／功１，伽，磅２／功２，…，ｔｃＤ，矗＿／芑铀］

（８）

则帖子ｉ与帖子Ｊ的语义相似度归一化表示见式（９）（由于对

称性，不妨假设ｍ≥竹，反之亦然）：

万方数据

２００

ｆｓｍ‰晡（多Ｄ嚣，户ｏＳ）２

ｌ竺！！堕呈垒！！塑型盟！之箜ｆ２±：：：±！垒！鱼坠曼！里！！塑型丝！堂皇墨２

１

墨％

Ｌｓｉｍｓｅｎｌ（御刑≥，声Ｄ５ｆ）一ｍａｘ｛ｓｉ芏工ｌｓｅｎ２（氆移托乙，豇船，矗露）（９）

式中，Ｚ一１，２，…，竹；ｒ＝１，２，…，ｍ；ｓｉｍｓｅｎ２（伽磁，伽以ｊ）表示词ｉ和词歹的相似度；ｓｂｓｅｎｌ（咖 磁，ｐｏ彤）表示词ｉ和帖子

歹的相似度。

如引言所述，这３种相似度的思想和角度不同，而且仅单

一使用一种相似度都存在一些不足。本文基于以上认识，提

出了组合相似度策略，见式（１０）：

ｓｈ．。ｂ（ｐｏ毋，户ｏＳ）＝ｓｉ如Ｉｃ。。（户。甄，户。町）×ａ＋ｓｉｎｌ豇（户。矗，

ｐｏ唧）×ｆ件ｓｉｒＩｌ掣撕（户。瞬，户。町）×７

（１０）

式中，口，口，ｙ表示加权系数，反映了３种不同相似度对总体相

似度的贡献大小。

２．４主题模型的更新策略

随着帖子依次流人，帖子数量发生变化的对应主题的向量也相应地得到更新。但是，新帖子的加入可能是正确的一

种划分，即相关帖子；也可能是不正确的划分，即伪相关帖子。如果仅仅使用新帖子集合的叠加向量作为来更新主题向量，会存在较大的误差。因此，本文在算法 …… 此处隐藏：2150字，全部文档内容请下载后查看。喜欢就下载吧 ……