MB-SinglePass_基于组合相似度的微博话题检测(3)

ｓｔｅｐ６。

Ｓｔｅｐ６判断是否为最后一条帖子，若不是，转入Ｓｔ印３；若是，结束算法。

输入：按发帖时间顺序依次读入帖子ｐｏｓｌ，ｐｏｓ２，…，ｐｏｓ。输出：各个帖子话题簇Ｃ１，Ｃ２，…

１．｛预处理：分词、去停用词、去重、赋权、同义词扩展）

２．ｃｏｕｎｔ一１；

３．Ｃ１＋ｐ０８】；

４．ｓａｖｅ

Ｔ［１］１；

５．ｒｅｐｅａｔ６．ｃｏｕｎｔ＋＋；７．ｉｆ（ｐｏｓ。。与已判断帖子ｔ存在转发评论关系）ｔｈｅｎ

８．ｐｏｓ—。归人帖子ｔ所在话题簇ａ；

９．ｕｐｄａｔｅａｎｄｓａｖｅ

Ｔ［ａ］ｃ０呲；

１０．ｕｐｄａｔｅ

ａｎｄ

ｓａｖｅ

Ｔ［ｏｔｈｅｒ］∞岫ｔ；

１１＿ｅｎｄ１２．ｅｌｓｅ

１３．

［ｍａｘｓｉｍ，ＣｌｕｓｔｅｒＮｏ］一ＣａｌＭａｘｓｈ（ｐｏｓ。。ｔ，Ｔ口）；／／计算最大相似度ｍａｘｓｉｍ及对应簇号ＣｌｕｓｔｅｒＮｏ

１４．ｉｆ（ｍｓｉｍｘ＞ｖｃ）ｔｈｅｎ

１５．ｐｏｓｏｏ眦ｃ归入ａｕｓｔｅｒＮｏ簇１６．ｕｐｄａｔｅａｎｄｓａｖｅ

Ｔ［ｃｌｕｓｔｅｒＮｏ］∞呲ｔ；１７．ｕｐｄａｔｅ

ａｎｄ

ｓａｖｅ

Ｔ［ｏｔｈｅｒ］∞∞ｔ；

１８．ｅｎｄ

１９．ｅｌｓｅｉｆ（ｍａｘｓｉｍ＜ｖｎ）ｔｈｅｎ

２０．ｃｒｅａｔｅ

ｃｌｕｓｔｅｒｎｅｗａｎｄ

ｓａｖｅ

Ｔ［ｎｅｗ］；

２１．ｕｐｄａｔｅ

ａＩｌｄ

ｓａｖｅ

Ｔ［ｏｔｈｅｒ］∞帅ｔ；

２２．ｅｎｄ２３．

ｅｌｓｅ

ｉｆ（ｐｏｓ—。与ａｕｓｔｅｒＮｏ簇内已判断帖子发贴人存在关

注或粉丝关系）ｔｈｅｎ

２４．ｐｏｓ。岫ｔ归入Ｃ１ｕｓｔｅｒＮｏ簇；

２５．ｕｐｄａｔｅａｎｄ

ｓａｖｅ

Ｔ［ｃｌｕｓｔｅｒＮｏ］；

２６．ｕｐｄａｔｅａｎｄ

ｓａｖｅ

Ｔ［ｏｔｈｅｒ］咖ＩＩ；

２７．ｅｎｄ２８．ｅｌｓｅ

２９．ｐｏｓ∞ｔ归入ＣＩｕｓｔｅｒＮｏ簇；

３０．Ｔ［Ｃ１ｕｓｔｅｒＮｏ］㈣一Ｔ［ｃｌｕｓｔｅｒＮｏ］。咖ｔ一１；

３１．ｓａｖｅ

Ｔ［ａｕｓｔｅｒＮ０］∞岫ｔ；

３２．

ｕｐｄａｔｅａｎｄ

ｓａｖｅ

Ｔ［ｏｔｈｅｒ］。眦；

３３．ｄｌｄ３４．ｅｎｄ３５．ｅｎｄ３６。

ｅｎｄ

３７．ｕｎｔｉｌ（ｃｏｕｎｔ＞ｎ）

图２

Ｍ艮Ｓｉｎ９１ｅＰａｓｓ算法

万方数据

为了更加清晰直观地表示各步骤之间的关系，图３给出了ＭＢ－ｓｉｎｇｌｅＰａｓｓ算法流程图。

图３

Ｍ＆ＳｉＴｌｇｌｅＰａｓｓ算法流程图

２．６评价方法

本文评价方法采用ＮＩＳＴ建立的话题检测与追踪的评价方法，主要的性能指标包括准确率、召回率、漏检率、误检率、

准确率和召回率的综合指标Ｆ１侧ｓ“化以及模型指标

ＮＤｒｍ（ＣＤ。）。各指标计算公式如下［１］：

准确率Ｐ一≠ｂ（１４）召回率Ｒ５丢乞

（１５）漏检率‰２南

（１６）误检率ＰＦＡ一崩与

（１７）

Ｎｏ瑚ｃ％，一坠意《鼍曼者争

Ｆ１＿一…＝；黑

（１８）

（１９）

式中，口为检测到的帖子数，６为检测到的不相关帖子数，ｃ为检测到的相关帖子，ｄ为检测到的不相关帖子。一般地，Ｇ幽

取为１，ＣＦＡ取ｏ．１，Ｐ越恻取０．０２，只一啊取Ｏ．９８。

３实验及结果分析

３．１数据采集及预处理

本文以新浪微博为实验平台，采集了清华百年校庆、房地产调控、个税起征点上调、盈江地震、药家鑫事件、杭州最美妈妈、北京地铁事故、本拉登遇袭身亡、日本核辐射、威廉王子大婚等１０个热点话题共１０８９８１条帖子数据，以及发贴时间、相

应的发贴人及其帖子之间是否存在转发评论等信息。为了更好地测试算法，从每个话题中人工地挑选了１００条帖子质量好的数据共计１０００条帖子进行测试。转发评论关系主要根

据新浪微博里的转发标志“／／＠”来进行识别，即标志前的帖

２０】

子是对标志后帖子的转发评论。为ｒ获得发贴人之间的关注和粉丝关系，选定实验帖子后，通过正则表达式析取出发贴人ｍ号，进一步获得并建立所有发贴人的关注和粉丝列表，以便在算法过程中匹配发贴人关系。

针对待测试的帖子，采用分词工具对其进行分词、对分词结果去除停用词、去重，并计算每个词的ＴＦ－ｍＦ权重，最后采用同义词典对帖子特征进行扩展，并赋予权重。中文分词工具采用的是中科院ＩＣＴＣＬＡｓ２０１ｌ提供的ＪＮＩ接口，同义词典采用的是哈工大信息检索研究室的同义词词林扩展版。去除停用词是在构建一个停用词典的基础上进行的，该词典还包括微博常用表情符号等，共有４８７个词。基于此词典，匹配并过滤帖子中存在的停用词。

为了确定组合相似度的加权系数，分别对Ｄ＋口＋），＝１且口，风７＞０的３６种取值可能情况（精度为Ｏ．１）测试Ｍ侈Ｓｉｎ—

麟舣～舱一枞删，触¨＂．ｄ７

６

：ｉ

ｏｏｏ

＿！Ｊ１＿－Ｉ斛黧｛ｌ曩腓¨㈣

ｍｉ

●宰一”姑珏～

Ｉ议且ｎ

ｏ

．幢¨∞姑一串啡ｓ盯

．，¨㈨ｈ吖㈣撼

图５不同相似度策略下ＭＢｓｉ嘲ｅＰａｓｓ算法的性能比较

在同一实验参数和检测算法情况下，通过测试比较，可以

看到使用组合相似度策略结果性能指标明显优于余弦相似度

和语义相似度，最多性能可以提高１０％。实验充分说明了组

合相似度可以更好地刻画相似度特征。此外，单一使用语义

相似度比单一使用余弦相似度性能更好，性能提高５％以上。

ｇｌｅＰａｓｓ算法的Ｆｌ一舢ｓ“僧值。实验表明，当（ａ，ｐ，ｙ）＝

（０．３，Ｏ．３，ｏ．４）时，Ｆ１一打搬ｎｓＨ＂取得最大值０．８４３２。因此，本文组合相似度的参数口，口，７取值分别取为ｏ．３、ｏ．３、ｏ．４。在实际应用中，根据实际问题的不同，最佳的加权系数可能是不

同的。

这主要是因为余弦相似度没有考虑到语义信息，而语义信息

在短文本相似度比较中是很重要的因素。

结束语本文针对微博短文本提出了ＭＢＳｉｎｇｌｅＰａｓｓ算法。与基于传统媒体对象的话题检测算法相比，ＭＢＳｉｎｇｌｅ—Ｐａｓｓ算法考虑了微博平台本身的特点，即微博结构化信息，包括发贴人之间存在的关注关系、帖子的转发评论关系等。同时Ｍｌ｝ＳｉｎｇｌｅＰａｓｓ算法采用了组合相似度和同义词扩展技术，更准确地刻画了相似性和丰富了帖子的特征信息。通过

３．２实验１

为了测试ＭＢｓｉｌｌｇｌｅＰａｓｓ算法的性能，本文设计了一组对比试验。对照算法也是话题检测常用的增量聚类和增量Ｋ＿ｍｅａＩｌｓ算法。增量聚类算法只采用单一阈值策略，算法实

际类似于二值分类问题；增量Ｋ．ｍｅａ璐算法按帖子数量设置

窗口长度，值设为５０，共两个窗口。实验采用１０个话题的平均性能作为相应算法的性能指标。实验结果如图４所示。

与传统话题检测算法增量Ｋ＿ｎ煳ｓ、增量聚类的比较显示，

Ｍ眵ＳｉｎｇｌｅＰａＳｓ算法在性能上有较大的 …… 此处隐藏：1696字，全部文档内容请下载后查看。喜欢就下载吧 ……