一种融合标签语义的微博热点话题挖掘方法

doi:10.19678/j.issn.1000-3428.0052535

计算机工程 ›› 2019, Vol. 45 ›› Issue (10): 283-287.doi: 10.19678/j.issn.1000-3428.0052535

一种融合标签语义的微博热点话题挖掘方法

周福星^1,2, 陈秀真^1,2, 马进^1,2, 李生红^1,2

1. 上海交通大学网络空间安全学院, 上海 200240;
2. 上海市信息安全综合管理技术研究重点实验室, 上海 200240

收稿日期:2018-09-03 修回日期:2018-10-18 出版日期:2019-10-15 发布日期:2018-10-28
作者简介:周福星(1994-),女,硕士研究生,主研方向为社交网络大数据分析;陈秀真(通信作者),副教授、博士;马进,高级工程师、博士;李生红,教授、博士。
基金项目:
国家自然科学基金（61562004，61431008）；国家重点研发计划"网络空间安全"（2016YFB0801003）。

A Microblog Hot Topic Mining Method Integrating Tag Semantics

ZHOU Fuxing^1,2, CHEN Xiuzhen^1,2, MA Jin^1,2, LI Shenghong^1,2

1. School of Cyber Science and Engineering, Shanghai Jiao Tong University, Shanghai 200240, China;
2. Shanghai Key Laboratory of Integrated Administration Technologies for Information Security, Shanghai 200240, China

Received:2018-09-03 Revised:2018-10-18 Online:2019-10-15 Published:2018-10-28

摘要/Abstract

摘要： 由于微博文本的长度较短，直接使用隐狄利克雷分布（LDA）模型会导致特征向量高维稀疏。为此，提出一种融合标签语义的热点话题挖掘方法。利用公共块算法计算微博标签的相似度，合并标签相似度较高的微博文本。采用LDA模型对合并后的文本建模，并通过K-means聚类算法挖掘微博热点话题。实验结果表明，与针对单一微博文本建模的方法以及直接合并相同标签的方法相比，该方法的困惑度较低，挖掘热点话题的准确性较高。

关键词: 微博文本, 隐狄利克雷分布模型, 标签语义, 公共块, K-means聚类

Abstract: Due to the short length of the microblog text,the direct use of Latent Dirichlet Allocation(LDA) model will lead to high-dimensional sparse feature vectors.Thus,a hot topic mining method integrating tag semantics is proposed.The common block algorithm is used to calculate the similarity of the microblog tags,and the microblog texts with high tag similarity are combined.The merged text is modeled by LDA model,and the hot topic of microblog is mined by K-means clustering algorithm.Experimental results show that compared with the method of modeling a single microblog text and the method of directly merging the same label,the proposed method obtains a lower perplexity and a higher accuracy in mining topics.

Key words: microblog text, Latent Dirichlet Allocation(LDA) model, tag semantics, common block, K-means clustering

中图分类号:

TP393

周福星, 陈秀真, 马进, 李生红. 一种融合标签语义的微博热点话题挖掘方法[J]. 计算机工程, 2019, 45(10): 283-287.

ZHOU Fuxing, CHEN Xiuzhen, MA Jin, LI Shenghong. A Microblog Hot Topic Mining Method Integrating Tag Semantics[J]. Computer Engineering, 2019, 45(10): 283-287.

图/表 11

参考文献 15

[1]	中国互联网信息中心.第42次《中国互联网络发展状况统计报告》[EB/OL].[2018-08-20].http://www.cnnic.net.cn.
[2]	BALASUBRAMANYAN R,ROUTLEDGE B R,SMITH N R.From tweets to polls:linking text sentiment to public opinion time series[C]//Proceedings of International Conference on Weblogs and Social Media.Reston,USA:AIAA Press 2010:122-129.
[3]	STEINSKOGA O,THERKELSEN J F,GAMBÄCK B.Twitter topic modeling by tweet aggregation[EB/OL].[2018-08-20].https://www.aclweb.org/anthology/W17-0210.
[4]	郭庆琳,李艳梅,唐琦.基于VSM的文本相似度计算的研究[J].计算机应用研究,2008,25(11):3256-3258.
[5]	孙励.基于微博的热点话题发现[D].北京:北京邮电大学,2013.
[6]	刘红兵,李文坤,张仰森.基于LDA模型和多层聚类的微博话题检测[J].计算机技术与发展,2016,26(6):25-30.
[7]	叶成绪,杨萍,刘少鹏.基于主题词的微博热点话题发现[J].计算机应用与软件,2016,33(2):46-50.
[8]	张群,王红军,王伦文.词向量与LDA相融合的短文本分类方法[J].现代图书情报技术,2016(12):27-35.
[9]	MIKOLOV T,LE Q V,SUTSKEVER H,et al.Exploiting similarities among languages for machine translation[EB/OL].[2018-08-20].https://arxiv.org/pdf/1309.4168v1.pdf.
[10]	BOJANOWSKI P,GRAVE E,JOULIN A,et al.Enriching word vectors with subword information[EB/OL].[2018-08-20].https://arxiv.org/pdf/1607.04606.pdf.
[11]	MIKOLOV T,CHEN Kai,CORRADO G,et al.Efficient estimation of word representations in vector space[EB/OL].[2018-08-20].https://arxiv.org/pdf/1301.3781.pdf.
[12]	陈红阳.中文微博话题发现技术研究[D].重庆:重庆理工大学,2015.
[13]	黄贤英,刘英涛,饶勤菲.一种基于公共词块的英文短文本相似度算法[J].重庆理工大学学报(自然科学版):2015,29(8):88-93.
[14]	BLEI D M,NG A Y,JORDAN M I.Latent Dirichlet allocation[J].Journal of Machine Learning Research,2003,3:993-1022.
[15]	MIMNO D,WALLACH H M,TAL-LEY E,et al.Optimizing semantic coherence in topic models[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing.Stroudsburg,USA:Association for Computational Linguistics,2011:262-272.

一种融合标签语义的微博热点话题挖掘方法

A Microblog Hot Topic Mining Method Integrating Tag Semantics

RichHTML

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 15

相关文章 15

Metrics

本文评价

推荐阅读 10

[1]	刘宇航, 马慧芳, 刘海姣, 余丽. 一种可重叠子空间K-Means聚类算法[J]. 计算机工程, 2020, 46(8): 58-63,71.
[2]	徐慧君, 王忠, 马丽萍, 饶华, 何承恩. 改进Mini Batch K-Means时间权重推荐算法[J]. 计算机工程, 2020, 46(3): 73-78,86.
[3]	刘崇阳, 刘勤让. 基于LZW编码的卷积神经网络压缩方法[J]. 计算机工程, 2019, 45(9): 188-193.
[4]	张旭, 周新志, 赵成萍, 邵伦. 基于犹豫模糊决策树的非均衡数据分类[J]. 计算机工程, 2019, 45(8): 75-79,91.
[5]	陆贝妮,杜育根. 基于社区发现的Web服务QoS预测[J]. 计算机工程, 2019, 45(3): 117-124.
[6]	王大飞, 解武杰, 董文瀚. 基于CSD-ELM的不平衡数据分类算法[J]. 计算机工程, 2019, 45(11): 54-61.
[7]	谢永华,朱延刚,赵贤国. 基于Zernike矩与BoF-SURF特征融合的花粉图像分类识别[J]. 计算机工程, 2018, 44(7): 259-263,270.
[8]	余乐,莫路锋,易晓梅. 一种路径损耗模型融合的WSN森林定位算法[J]. 计算机工程, 2018, 44(3): 87-92,98.
[9]	段旭磊,张仰森,孙祎卓. 微博文本的句向量表示及相似度计算方法研究[J]. 计算机工程, 2017, 43(5): 143-148.
[10]	聂进焱,魏艳涛,瞿少成. 一种面向局部神经反应的模板选取算法[J]. 计算机工程, 2017, 43(3): 277-281.
[11]	郑诚,沈磊,代宁. 基于类序列规则的中文微博情感分类[J]. 计算机工程, 2016, 42(2): 184-189,194.
[12]	汪文靖,冯瑞. 基于二分K-means的测试用例集约简方法[J]. 计算机工程, 2016, 42(12): 73-77,83.
[13]	熊思，李磊民，黄玉清. 基于小波变换和K-means的非结构化道路检测[J]. 计算机工程, 2014, 40(2): 158-161.
[14]	陈舒, 刘秉瀚. 基于角点特征的粘连车辆分割方法[J]. 计算机工程, 2013, 39(4): 210-213,218.
[15]	邓建华. 自行车CA模型的元胞长度动态修正[J]. 计算机工程, 2012, 38(3): 252-254.