MB-SinglePass_基于组合相似度的微博话题检测

第３９卷第１０期２０１２年１０月

计算机科学

Ｃｏｍｐｕｔｅｒ

Ｓｃｉｅｎｃｅ

Ｖ０１．３９Ｎｏ．１０

Ｏｃｔ２０１２

ＭＢ—ＳｉｎｇｌｅＰａｓｓ：基于组合相似度的微博话题检测

周

（软件开发环境国家重点实验室

刚１’２

邹鸿程２熊小兵２黄永忠２

（信息工程大学信息工程学院

郑州４５０００２）２

北京１００１９１）１

摘要话题检测技术在传统媒体的研究中取得了较好的效果。探讨了针对微博类的新型媒体短文本对象话题检测

技术的优化及性能评价。基于微博中联系人存在的关注和粉丝等结构化信息、帖子之间转发评论等内在关联关系，提出了针对微博的Ｍ＆ｓｉｎｇｌｅＰａｓｓ话题检测算法。该算法除了考虑微博上述特点之外，还针对短文本特征稀疏的问题，利用同义词典，引入了微博特征扩展技术，丰富了特征信息。同时，针对单一使用余弦相似度、雅各比相似度争语义相

似度的不足，采用了组合相似度策略。相较传统算法，ＭＩ｝Ｓｉｎ９１ｅＰａｓｓ算法在新浪微博实测数据集上取得了更好的性能。另外，针对相似度策略的对照实验说明采用组合相似度的效果优于单一相似度。关键词微博，Ｓｉｎ９１ｅＰａｓｓ，话题检测，文本相似度，同义词扩展中图法分类号ＴＰ３９１

文献标识码Ａ

Ｍ弘ＳｉｎｇｌｅＰ嬲ｓ：Ｍｉｃｒｏｂ№ＴｏｐｉｃＤｅｔｅｃｔｉ仰Ｂａｓｅｄ

ｚＨ０ｕＧａｎ９１，２

ｚＣｌＵ

ｏｎ

Ｃ蛐ｂｉｎｅｄ

ＨｕＡＮＧ

ＳｉＩＩＩｉｌａｒｉｔｙ

Ｈｏｎｇ＿ｃｈｅｎ酽

ｘ１０ＮＧ

ｘｉａ伊ｂｉｎ矛Ｙｏｎｇ＿ｚｈｏｎ酽

（ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＳ０ｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＥｎｖｉｒｏｎｍｅｎｔ，Ｂｅ巧ｉｎｇ１００１９１，Ｃｈｉｎａ）１

（Ｉｎｆｏｍａｔｉｏｎ

Ａｂｓｔｒａｃｔａｎｄ

ＥｎｇｉｎｅｅｒｉｎｇＩｎｓｔｉｔｕｔｅ，ＩｎｆｏＨｎａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ４５０００２，Ｃｈｉｎａ）２

Ｔｏｐｉｃｄｅｔｅｃｔｉｏｎａｃｈｉｅｖｅｓｑｕｉｔｅｇｏｏｄｒｅｓｕｌｔｉｎｔｈｅ

ｔｒａｄｉｔｉｏｍｌｍｅｄｉａ

ｒｅｓｅａｒｃｈＴｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｄｔｈｅｒｅｆｉｎｅｓｓ

ｓｕｃｈ

ａｓ

ａｓ

ｐｅｒｆｏ舢ｎｃｅｅｖａｌｕａｔｉｏｎｏｆｔｈｅｔｏｐｉｃｄｅｔｅｃｔｉｏｎｔｅｃｈｎｉｑｕｅｉｎｔｈｅｎｅｗｋｉｎｄｏｆｍｅｄｉａｓ

ｔｏｐｉｃｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ

ｏｎ

ｍｉｃｒｏｂｌｏｇ，ｐｒｏｐ０Ｓｅｄｔｈｅ

ＭＢＳｉｎ９１ｅＰａｓｓ

ｔｈｅｂａｓｉｓｏｆｔｈｅ

ｓｔｒｕｃｔｕｒｅｄ础ｏｍｌａｔｉｏｎ

ａｓ

ｓｕｃｈ

ｔｈｅｒｄａｔｉｏｎＳｈｉｐｓｏｆａｔｔｅｎ－

ｔｉｏｎｓａｎｄｆａｎｓｂｅｔｗｅｅｎｃｏｎｔａｃｔｓ，ｔｈｅｉｎｎｅｒｓｉｄｅｃｏｎｓｉｄｅｒｉｒｌｇｔｈｅａｂｏｖｅｍｉｃｒｏｂｌｏｇｏｒｄｅｒｔｏ

ｔａｇｅ

ｃｏ肌ｅｃｔｉｏｎ

ｒｅｌａｔｉｏｎｓｈｉｐｓｓｕｃｈｆｏｒｗａｒｄｉｎｇａｎｄｃｏＩｎｍｅｎｔｂｅｔｗｅｅｎｐｏｓｔｓ．王ｋ—

ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ＭＢＳｉｎｇｌｅＰａｓｓ

Ａｔｔｈｅｓａｍｅ

ｉｎｔｒｏｄｕｃｅｓｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｅｘｔｅｎｓｉｏｎｔｅｃｈｌｌｉｑｕｅ证

ｕｓｅｄｔｈｅｃｏｍｂｉｎｅｄｓ．ｍ［１ｉｌａｒｉｔｙａｉｌｌｌｉｎｇ

ａｎｄｓｅｍａｎｔｉｃ

ａｔ

ｅ商ｃｈ

ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ

ｉｎｆｏｍａｔｉｏｎ

ｔ．皿ｅ，ｔｈｅｐａｐｅｒ

ｔｈｅｓｈｏｒ＿

ｏｆｓｉｎ９１ｙｕｔｉｌｉｚｉｎｇｔｈｅＪａｃｃａｒｄ

ｓ确ｌａｒｉｔｙ

ｃｏｅｆｆｉｃｉｅｎｔ，ｃｏｓｉｎｅｂａｓｅｄ

ｔｈｅｔｒａｄｉｔｉｏｎａｌ

ａｌｇｏｒｉｔｈｍｓ，ＭＢＳｉｎ９１ｅＰａｓｓ

ｔｏ

ｓｈｏｗｓｂｅｔｔｅｒ

ｓｔｒａｔｅｇｙ

ｐｅｒｆｏ蚴ｃｅ。ｎ

ｓｉｒＩｌｉｌ撕ｔｙ

ｓ砒ｌａｒｉｔｙ．（乃ｍｐａｒｅｄｗｉｔｈ

Ｉｎｊｃｒｏｂｌｏｇ．Ａｄｄｉｔｉｏｍｌ—

ｔｈｅａｃｔｕａｌｄａｔａｓｅｔｏｆｓｉｌｌａ

ｌｙ，ｅｘｐｅｒｉｍｅｎｔａｃｃｏｒｄｉｎｇ１ａｒｉｙ．

ｔｈｅ

ｓ试ｌａｒｉｔｙ

ｒｅｖｅａｌｓｂｅｔｔｅｒｒｅｓｕｌｔｂｙｕｓｉｎｇｃｏｍｂｉｎｅｄｓｉＩｎｉｌａｒｉｔｙｔｈａｎｓｉｎｇｕｌａｒ

ｓｈｉ一

Ｋｅｙｗ删ｓ

１

Ｍｉｃｒｏｂｌｏｇ，ＳｉｎｇｌｅＰａｓｓ，Ｔｏｐｉｃｄｅｔｅｃｔｉｏｎ，ＴｅＸｔｓｉｍｉｌａｒｉｔｙ，岛ｍｏｎｙｍｓｅＸｔｅｎｓｉｏｎ

引言

自微博问世以来，其因实时移动、简短快捷和互动方便等

ｋｉｎｇ）组织的任务划分，话题检测技术属于ＴＤＴ的一项子任

务［１］。话题检测又称主题检测，其目的是对一系列连续的文本流自动检测出不同的话题。它本质是一种无指导的聚类。

向量空间模型（ＶＳＭ）是文本形式化的主要模型之一［１］。通过将文本映射到多维空间，使得对文本相似比较计算有了可

特点迅速风糜全球。例如，国外著名的微博网站ｔ试ｔｔｅｒ用户突破Ｌ７亿，每天锐推数量超过１．３亿条。国内首个微博网站新浪微博也以极快的速度在发展。微博上通过相互关注、转发评论等行为形成了一个庞大的社交网络。微博文本限制

行性。话题检测算法常用的方法有ａｇｇｌｏｍｅｒａｔｉｖｅ算法［２］、增

量聚类算法［３｜、增量Ｋ＿ｎ瑚ｎＳ算法［“、基于主题模型算法［５］

等。相似度计算的方法常采用余弦夹角、雅各比公式、０ＫＡ—ＰＩ公式、Ｃｌａｒｉｔｙ、Ｔａｎｉｒｎｏｔｏ、Ｈｅｌｌｉｎｇｅｒ公式等西，引。随着自然

在１４０个字以内，一般即时发布，因此微博语言呈现出个性

化、符号化、口语化、非规范化的特点，也产生了很多新鲜词汇，比如“神马”、“给力”等，从某种程度上引领了一种社会文化。

根据ＴＤＴ（话题检测与追踪，Ｔｏｐｉｃ

到稿日期：２０１１—１２一０７返修日期：２０１２一０３一０６（８６３）计划（２００９ＡＡ０４３３０３）资助。

Ｅ电ｔｅｃｔｉｏｎａｎｄＴｒａｃ—

语言处理技术的发展，基于语义相似度的相似度模型也开始

流行［８］。这些相似度计算方法各有利弊。

话题检测与追踪技术在传统研究对象如新闻、论坛和博

本文受软件开发环境国家重点实验室开放课题（ｓＫＩｓＤＥ．２０１１ＫＦ＿０６），国家高技术研究发展

周刚（１９７４一），男，博士，副教授，ＯｃＦ会员，主要研究方向为海量信息处理、云计算、社会网络分析，Ｅ－ｍａｉｌ：ｇｚｈｏｕｇｚｈｏｕ＠ｇｍ“Ｉ．ｃｏｍ；邹鸿程（１９８５～），男，硕士生，主要研究方向为网络数据挖掘；熊小兵（１９８５一），男，博士生，主要研究方向为网络数据挖掘；黄永忠（１９６８一），男，博士，教授，博士生导师，主要研究 …… 此处隐藏：2003字，全部文档内容请下载后查看。喜欢就下载吧 ……