作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

计算机工程 ›› 2019, Vol. 45 ›› Issue (10): 283-287. doi: 10.19678/j.issn.1000-3428.0052535

• 开发研究与工程应用 • 上一篇    下一篇

一种融合标签语义的微博热点话题挖掘方法

周福星1,2, 陈秀真1,2, 马进1,2, 李生红1,2   

  1. 1. 上海交通大学 网络空间安全学院, 上海 200240;
    2. 上海市信息安全综合管理技术研究重点实验室, 上海 200240
  • 收稿日期:2018-09-03 修回日期:2018-10-18 出版日期:2019-10-15 发布日期:2018-10-28
  • 作者简介:周福星(1994-),女,硕士研究生,主研方向为社交网络大数据分析;陈秀真(通信作者),副教授、博士;马进,高级工程师、博士;李生红,教授、博士。
  • 基金资助:
    国家自然科学基金(61562004,61431008);国家重点研发计划"网络空间安全"(2016YFB0801003)。

A Microblog Hot Topic Mining Method Integrating Tag Semantics

ZHOU Fuxing1,2, CHEN Xiuzhen1,2, MA Jin1,2, LI Shenghong1,2   

  1. 1. School of Cyber Science and Engineering, Shanghai Jiao Tong University, Shanghai 200240, China;
    2. Shanghai Key Laboratory of Integrated Administration Technologies for Information Security, Shanghai 200240, China
  • Received:2018-09-03 Revised:2018-10-18 Online:2019-10-15 Published:2018-10-28

摘要: 由于微博文本的长度较短,直接使用隐狄利克雷分布(LDA)模型会导致特征向量高维稀疏。为此,提出一种融合标签语义的热点话题挖掘方法。利用公共块算法计算微博标签的相似度,合并标签相似度较高的微博文本。采用LDA模型对合并后的文本建模,并通过K-means聚类算法挖掘微博热点话题。实验结果表明,与针对单一微博文本建模的方法以及直接合并相同标签的方法相比,该方法的困惑度较低,挖掘热点话题的准确性较高。

关键词: 微博文本, 隐狄利克雷分布模型, 标签语义, 公共块, K-means聚类

Abstract: Due to the short length of the microblog text,the direct use of Latent Dirichlet Allocation(LDA) model will lead to high-dimensional sparse feature vectors.Thus,a hot topic mining method integrating tag semantics is proposed.The common block algorithm is used to calculate the similarity of the microblog tags,and the microblog texts with high tag similarity are combined.The merged text is modeled by LDA model,and the hot topic of microblog is mined by K-means clustering algorithm.Experimental results show that compared with the method of modeling a single microblog text and the method of directly merging the same label,the proposed method obtains a lower perplexity and a higher accuracy in mining topics.

Key words: microblog text, Latent Dirichlet Allocation(LDA) model, tag semantics, common block, K-means clustering

中图分类号: