基于贝叶斯网络的故事线挖掘算法

doi:10.3969/j.issn.1000-3428.2018.03.009

计算机工程

基于贝叶斯网络的故事线挖掘算法

佘玉轩,熊赟

(复旦大学计算机科学技术学院上海市数据科学重点实验室,上海 201203)

收稿日期:2017-02-27 出版日期:2018-03-15 发布日期:2018-03-15
作者简介:佘玉轩(1992—),男,硕士研究生,主研方向为文本挖掘;熊赟,教授、博士生导师。
基金资助:
国家自然科学基金(91546105,71331005);国家高技术研究发展计划项目(2015AA020105);上海市科委项目(16JC1400801,16511102204);NSFC-广东联合基金(第二期)超级计算科学应用研究专项;国家超级计算广州中心支持项目。

Storyline Mining Algorithm Based on Bayesian Network

SHE Yuxuan,XIONG Yun

(Shanghai Key Laboratory of Data Science,School of Computer Science,Fudan University,Shanghai 201203,China)

Received:2017-02-27 Online:2018-03-15 Published:2018-03-15

摘要/Abstract

摘要： 目前的多数故事线挖掘研究侧重新闻文献和事件的相似性分析,忽略了故事线的结构化表述及新闻具有的延时性,无法直观地从模型结果看出不同新闻话题的发展过程。为此,提出一种基于贝叶斯网络的无监督故事线挖掘算法。将故事线看成日期、时间、机构、人物、地点、主题和关键词的联合概率分布,并考虑新闻时效性。在多个新闻数据集上进行的实验和评估结果表明,与K-means、LSA等算法相比,该算法模型具有较高的故事线挖掘能力。

关键词: 故事线挖掘, 事件, 贝叶斯网络, 时效性, 新闻, 主题

Abstract: At present,most of the research on story line mining focuses on the similarity analysis of news documents and events,while ignoring the structured expression of stories and the delay of news.It is difficult to intuitively see the development of different news topics from the model results.Therefore,an unsupervised storyline mining algorithm based on Bayesian network is proposed,which considers the story line as the joint probability distribution of date,time,organization,person,place,topic and key words and considers the timeliness of news in inside.Experiments and evaluations results on multiple news datasets show that this algorithm model has a higher mining potential than the K-means and LSA algorithms.

Key words: storyline mining, event, Bayesian network, timeliness, news, topic

中图分类号:

TP391

佘玉轩,熊赟. 基于贝叶斯网络的故事线挖掘算法[J]. 计算机工程, doi: 10.3969/j.issn.1000-3428.2018.03.009.

SHE Yuxuan,XIONG Yun. Storyline Mining Algorithm Based on Bayesian Network[J]. Computer Engineering, doi: 10.3969/j.issn.1000-3428.2018.03.009.

http://www.ecice06.com/CN/Y2018/V44/I3/55

参考文献

参考文献［1］SHAHAF D,YANG J,SUEN C,et al.Information Cartography:Creating Zoomable,Large-scale Maps of Information［C］//Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York,ACM Press,2013:1097-1105. ［2］骆卫华,于满泉,许洪波,等.基于多策略优化的分治多层聚类算法的话题发现研究［J］.中文信息学报,2006,20(1):29-36. ［3］YAN R,KONG L,HUANG C,et al.Timeline Generation Through Evolutionary Trans-temporal Summarization［C］//Proceedings of Conference on Empirical Methods in Natural Language Processing.［S.1.］:Association for Computational Linguistics,2011:433-443. ［4］罗亚平,王枞,周延泉.基于关注度的热点话题发现模型［C］//中文信息处理国际会议论文集.北京:［出版社不详］,2007:212-222. ［5］MEI Q,ZHAI C X.Discovering Evolutionary Theme Patterns from Text:An Exploration of Temporal Text Mining［C］//Proceedings of the 11th ACM SIGKDD International Conference on Knowledge Discovery in Data Mining.New York,USA:ACM Press,2005:198-207. ［6］庄婷婷,王平,程齐凯.一种时间情境依赖的微博话题抽取方法［J］.信息资源管理学报,2013(3):40-46. ［7］路荣,项亮,刘明荣,等.基于隐主题分析和文本聚类的微博客中新闻话题的发现［J］.模式识别与人工智能,2012,25(3):382-387. ［8］李培,翁伟,林琛.中文微博故事线生成方法［J］.中文信息学报,2016,30(3):143-151. ［9］HUANG L,HANG Lian'en.Optimized Event Storyline Generation Based on Mixture-event-aspect Model［C］//Proceedings of IEEE EMNLP’13.Washington D.C.,USA:IEEE Press,2013:726-735. ［10］DEHGHANI N,ASADPOUR M.Graph-based Method for Summarized Storyline Generation in Twitter［EB/OL］.(2015-10-21).http://x-algo.cn/wp-content/uploads. ［11］王巍,杨武,齐海凤,等.基于多中心模型的网络热点话题发现算法［J］.南京理工大学学报,2009,33(4):422-426. ［12］BLEI D M,NG A Y,JORDAN M I.Latent Dirichlet Allocation［J］.Journal of Machine Learning Research,2003,3:993-1022. ［13］HUA T,ZHANG X,WANG W,et al.Automatical Storyline Generation with Help from Twitter［C］//Proceedings of the 25th ACM International on Conference on Information and Knowledge Management.New York,USA:ACM Press,2016:2383-2388. ［14］LI J,LI S.Evolutionary Hierarchical Dirichlet Process for Timeline Summarization［C］//Proceedings of IEEE ACL’13.Washington D.C.,USA:IEEE Press,2013:556-560. ［15］ZHOU D,XU H,HE Y.An Unsupervised Bayesian Modelling Approach for Storyline Detection on News Articles［C］//Proceedings of IEEE EMNLP’15.Washington D.C.,USA:IEEE Press,2015:1943-1948. ［16］ZHOU D,XU H,DAI X Y,et al.Unsupervised Storyline Extraction from News Articles［C］//Proceedings of IEEE AAAI.Washington D.C.,USA:IEEE Press,2016:145-156. ［17］GEMAN S,GEMAN D.Stochastic Relaxation,Gibbs Distributions,and the Bayesian Restoration of Images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,1984,20(6):721-741. 编辑索书志

[1]	刘金硕, 刘宁. 面向招标文件的半结构化文本自动生成[J]. 计算机工程, 2023, 49(3): 67-72.
[2]	杨红菊, 靳新宇. 一个实体关系与事件抽取的通用模型[J]. 计算机工程, 2023, 49(2): 143-149.
[3]	蔡瑞初, 吴思宇, 乔杰. 面向故障间格兰杰因果发现的霍克斯过程研究[J]. 计算机工程, 2023, 49(1): 65-72.
[4]	薛振宇, 余正涛, 高盛祥. 融入事件实体知识的汉越跨语言新闻事件检索[J]. 计算机工程, 2022, 48(8): 274-282,291.
[5]	王士浩, 王中卿, 李寿山, 周国栋. 基于知识蒸馏与模型集成的事件论元抽取方法[J]. 计算机工程, 2022, 48(7): 97-103.
[6]	李琴, 李少波, 胡杰. 基于主题情感联合分析的游客画像研究[J]. 计算机工程, 2022, 48(6): 278-287,294.
[7]	孙盼, 王琪, 万怀宇. 结合事件链与事理图谱的脚本事件预测模型[J]. 计算机工程, 2022, 48(4): 119-125.
[8]	张鹏举, 贾永辉, 陈文亮. 基于多特征实体消歧的中文知识图谱问答[J]. 计算机工程, 2022, 48(2): 47-54.
[9]	雷恒林, 古兰拜尔·吐尔洪, 买日旦·吾守尔, 曾琪. 基于Hellinger距离与词向量的终身机器学习主题模型[J]. 计算机工程, 2022, 48(11): 89-95.
[10]	高永兵, 黎预璇, 高军甜, 马占飞. 基于用户意图的微博文本生成技术研究[J]. 计算机工程, 2022, 48(1): 119-126.
[11]	苗佳, 段跃兴, 张月琴, 张泽华. 基于CNN-BiGRU模型的事件触发词抽取方法[J]. 计算机工程, 2021, 47(9): 69-74,83.
[12]	许伟佳, 秦永彬, 黄瑞章, 陈艳平. 基于DMA与特征划分的多源文本主题模型[J]. 计算机工程, 2021, 47(7): 59-66.
[13]	陶天一, 王清钦, 付聿炜, 熊贇, 俞枫, 苑博. 基于知识图谱的金融新闻个性化推荐算法[J]. 计算机工程, 2021, 47(6): 98-103,114.
[14]	郑巧夺, 吴贞东, 邹俊颖. 基于双层CNN-BiGRU-CRF的事件因果关系抽取[J]. 计算机工程, 2021, 47(5): 58-64,72.
[15]	徐淑琳, 周广瑞, 岳昊. 标注Petri网中的最小初始标识估计[J]. 计算机工程, 2021, 47(4): 285-290,297.

选择文件类型/文献管理软件名称

选择包含的内容

基于贝叶斯网络的故事线挖掘算法

Storyline Mining Algorithm Based on Bayesian Network

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

基于贝叶斯网络的故事线挖掘算法

Storyline Mining Algorithm Based on Bayesian Network

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价