基于维基百科的短文本相关度计算

计算机工程

基于维基百科的短文本相关度计算

荆琪¹,段利国¹,李爱萍^1,2,赵谦 ¹

(1.太原理工大学计算机科学与技术学院,太原 030600; 2.武汉大学软件工程国家重点实验室,武汉 430072)

收稿日期:2017-01-12 出版日期:2018-02-15 发布日期:2018-02-15
作者简介:荆琪(1993—),女,硕士研究生,主研方向为自然语言处理;段利国、李爱萍,副教授、博士;赵谦,硕士研究生。
基金项目:
山西省自然科学基金(2013011015-2);武汉大学软件工程国家重点实验室开放课题(SKLSE2012-09-30)。

Short Text Correlation Calculation Based on Wikipedia

JING Qi ¹,DUAN Liguo ¹,LI Aiping ^1,2,ZHAO Qian ¹

(1.College of Computer Science and Technology,Taiyuan University of Technology,Taiyuan 030600,China; 2.State Key Laboratory of Software Engineering,Wuhan University,Wuhan 430072,China)

Received:2017-01-12 Online:2018-02-15 Published:2018-02-15

摘要/Abstract

摘要： 为提高短文本语义相关度的计算准确率,将维基百科作为外部语义知识库,利用维基百科的结构特征,如维基百科的分类体系结构、摘要中的链接结构、正文中的链接结构以及重定向消歧页等,提出类别相关度与链接相关度相结合的词语相关度计算方法。在此基础上,提出基于词形结构、词序结构以及主题词权重的句子相关度计算方法。实验结果表明,在词语相关度计算方面,该方法的Spearman参数比文本相关度计算方法提高2.8%,句子相关度准确率达到73.3%。

关键词: 维基百科, 相关性, 语义相似度, 语义相关度, 短文本

Abstract: In order to improve the accuracy of semantic correlation of short text,this paper uses Wikipedia as an external semantic knowledge base,and combines with structure features of Wikipedia,such as typing architecture of Wikipedia,link structure between abstracts and pages,and redirect disambiguation pages,and puts forward the calculation algorithm for the correlation between words.On this basis,it also puts forward the sentence correlation calculation method combined with word order structure and weight of subject words.Experimental results show that in terms of word correlation calculation,Spearman parameter of the method in this paper is 2.8% higher than that of the text correlation calculation methods,and the accuracy of sentence correlation is up to 73.3%.

Key words: Wikipedia, relevance, semantic similarity, semantic correlation, short text

中图分类号:

TP391.1

荆琪,段利国,李爱萍,赵谦. 基于维基百科的短文本相关度计算[J]. 计算机工程.

JING Qi,DUAN Liguo,LI Aiping,ZHAO Qian. Short Text Correlation Calculation Based on Wikipedia[J]. Computer Engineering.

参考文献

参考文献［1］张红春.中文维基百科的结构化信息抽取及词语相关度计算［D］.武汉:华中师范大学,2011. ［2］STRUBE M,PONZETTO S.Wiki Related Computing Semantic Relatedness Using Wikipedia［C］//Proceedings of the 21st National Conference on Artificial Intelligence.New York,USA:ACM Press,2006:1419-1424. ［3］GABRILOVICH G,MARKOVITCH S.Computing Semantic Relatedness Using Wikipedia-based Explict Semantic Analysis［C］//Proceedings of the 20th International Joint Conference on Artificial Intelligence.Berlin,Germany:Springer,2007:1606-1611. ［4］HASSAN S,MIHALCEA R.Semantic Relateness Using Salient Semantic Analysis［C］//Proceedings of the 25th AAAI Conference on Artificial Intelligence.［S.l.］:AAAI Press,2011:884-889. ［5］李赟.基于中文维基百科的语义知识挖掘相关研究［D］.北京:北京邮电大学,2009. ［6］李赟,黄开妍,任福继,等.维基百科的中文语义相关词获取及相关度分析计算［J］.北京邮电大学学报,2009,32(3):109-112. ［7］刘军,姚天昉.基于Wikipedia的语义相关度计算［J］.计算机工程,2010,36(19):42-46. ［8］涂新辉,张红春,周琨峰,等.中文维基百科的结构化信息抽取及词语相关度计算方法［J］.中文信息学报,2012,26(3):109-115. ［9］王锦,王会珍,张俐.基于维基百科类别的文本特征表示［J］.中文信息学报,2011,25(2):27-31. ［10］范云杰,刘怀亮.基于维基百科的中文短文本分类研究［J］.现代图书情报技术,2012,28(3):47-52. ［11］汪祥,贾焰,周斌,等.基于中文维基百科链接结构与分类体系的语义相关度计算［J］.小型微型计算机系统,2011,32(11):2237-2242. ［12］谌志群,高飞,曾智军.基于中文维基百科的词语相关度计算［J］.情报学报,2012,31(12):1265-1270. ［13］FINKELSTEIN L,GABRILOVICH E,MATIAS Y,et al.Placing Search in Context:The Concept Revisited［J］.ACM Transactions on Information Systems,2002,20(1):116-131. ［14］夏天.中文信息处理中的相似度计算研究与应用［D］.北京:北京理工大学,2005. ［15］孙琛琛,申德荣,单菁,等.WSR:一种基于维基百科结构信息的语义关联度计算算法［J］.计算机学报,2012,35(11):2361-2370. ［16］伍赛,杨冬青,韩近强.一种基于单词相关度的文档聚类新方法［J］.计算机科学,2004,31(10):261-263. 编辑顾逸斐

[1]	段丹丹, 唐加山, 温勇, 袁克海. 基于BERT模型的中文短文本分类算法[J]. 计算机工程, 2021, 47(1): 79-86.
[2]	丁辰晖, 夏鸿斌, 刘渊. 融合知识图谱与注意力机制的短文本分类模型[J]. 计算机工程, 2021, 47(1): 94-100.
[3]	英文, 周杰. 三维空间椭圆信道模型及其均匀矩形阵列研究[J]. 计算机工程, 2020, 46(3): 172-177.
[4]	龙恳, 陈德建, 吴芳炜. 基于用户序列相位旋转的非正交多址接入方案[J]. 计算机工程, 2019, 45(9): 49-54.
[5]	张文金. 一种基于权重矩阵分解的在线多任务学习算法[J]. 计算机工程, 2019, 45(8): 190-197.
[6]	王茜竹, 韦青霞, 杨晓雅, 康璐璐. 基于组合赋权方法的用户购车倾向评价[J]. 计算机工程, 2019, 45(11): 303-308.
[7]	吕国英,关勇,李茹,郭少茹,谭红叶. 基于神经网络的篇章标题选择求解[J]. 计算机工程, 2018, 44(9): 171-176.
[8]	李伊青,崔浩,甘小莺,安然,洪峰,夏丽芳. 基于压缩感知的WSN信息收集与恢复[J]. 计算机工程, 2018, 44(7): 91-97.
[9]	王思翔,张磊,段晓毅,崔琦,高献伟. 基于希尔伯特黄变换滤波预处理的相关性能量分析攻击[J]. 计算机工程, 2018, 44(7): 160-165,171.
[10]	殷亚博,杨文忠,杨慧婷,许超英. 基于卷积神经网络和KNN的短文本分类算法研究[J]. 计算机工程, 2018, 44(7): 193-198.
[11]	王淑媛,田生伟,禹龙,冯冠军,艾山·吾买尔,李圃,赵建国. 基于堆栈降噪自编码的维吾尔语事件共指关系识别[J]. 计算机工程, 2018, 44(6): 305-310.
[12]	缪峰,贾华丁,熊于宁. 基于服务相似度的移动用户近似邻居选取方法[J]. 计算机工程, 2018, 44(5): 162-167,173.
[13]	安冬冬,龚晓峰,陈思南. 循环移位正交系数的测量矩阵改进算法[J]. 计算机工程, 2018, 44(5): 205-208.
[14]	赵英,韩春昊. 马尔科夫模型在网络流量分类中的应用与研究[J]. 计算机工程, 2018, 44(5): 291-295.
[15]	王思翔,张磊,崔琦,高献伟,段晓毅. 基于信号增益放大技术的相关性电磁分析攻击[J]. 计算机工程, 2018, 44(4): 181-186,192.