结合主题分布与统计特征的关键词抽取方法

doi:10.3969/j.issn.1000-3428.2017.07.036

计算机工程

结合主题分布与统计特征的关键词抽取方法

刘啸剑¹,谢飞 ²

(1.合肥工业大学计算机与信息学院,合肥 230009; 2.合肥师范学院计算机学院,合肥 230061)

收稿日期:2016-03-01 出版日期:2017-07-15 发布日期:2017-07-15
作者简介:刘啸剑(1991—),男,硕士研究生,主研方向为文本挖掘;谢飞,副教授、博士。
基金资助:
国家自然科学基金(61229301)。

Keyword Extraction Method Combining Topic Distribution with Statistical Features

LIU Xiaojian¹,XIE Fei ²

(1.School of Computer and Information,Hefei University of Technology,Hefei 230009,China;2.School of Computer Science and Technology,Hefei Normal University,Hefei 230061,China)

Received:2016-03-01 Online:2017-07-15 Published:2017-07-15

摘要/Abstract

摘要： 传统人工抽取关键词耗时耗力,为了能自动从文档中抽取出高质量的关键词,提出一种关键词自动抽取方法。该方法基于文档和词语的主题信息并结合词语的统计特征为候选词语打分,最终选择TopK得分的候选词作为文档关键词。实验结果表明,该方法在准确率、召回率以及F值上均优于现有的基本关键词抽取方法,能有效从文档中抽取出关键词。

关键词: 主题分布, 关键词抽取, 统计特征, 主题信息, 候选词语

Abstract: Traditional keyword extraction is time and labor consuming.In order to automatically extract high quality keywords from the given document,an automatic keyword extraction method is proposed.TopK scored words are selected as keywords of a document after ranking each candidate phrase combining the topic information with statistical features of documents and phrases.Experimental results show that this method outperforms the existing methods in accuracy,recall rate and F score.It can effectively extract keywords from documents.

Key words: topic distribution, keyword extraction, statistical features, topic information, candidate words

中图分类号:

TP391

刘啸剑,谢飞. 结合主题分布与统计特征的关键词抽取方法[J]. 计算机工程, doi: 10.3969/j.issn.1000-3428.2017.07.036.

LIU Xiaojian,XIE Fei. Keyword Extraction Method Combining Topic Distribution with Statistical Features[J]. Computer Engineering, doi: 10.3969/j.issn.1000-3428.2017.07.036.

http://www.ecice06.com/CN/Y2017/V43/I7/217

参考文献

参考文献［1］Turney P D.Learning Algorithms for Keyphrase Extraction［J］.Information Retrieval,2000,2(4):303-336. ［2］谭胜,马静,吴一占.基于主题描述模型的相关性判断在网页信息抽取中的应用［J］.情报学报,2011,30(2):155-159. ［3］Hammouda K M,Matute D N,Kamel M S.Corephrase:Keyphrase Extraction for Document Clustering［C］//Proceedings of International Workshop on Machine Learning and Data Mining in Pattern.Berlin,Germany:Springer,2005:265-274. ［4］Gutwin C,Paynter G,Witten I,et al.Improving Browsing in Digital Libraries with Keyphrase Indexes［J］.Decision Support Systems,1999,27(1):81-104. ［5］Blei D M,Ng A Y,Jordan M I.Latent Dirichlet Allocation［J］.Journal of Machine Learning Research,2003,3:993-1022. ［6］Witten I H,Paynter G W,Frank E,et al.KEA:Practical Automatic Keyphrase Extraction［C］//Proceedings of the 4th ACM Conference on Digital Libraries.New York,USA:ACM Press,1999:254-255. ［7］Zhang K,Xu H,Tang J,et al.Keyword Extraction Using Support Vector Machine［C］//Proceedings of International Conference on Web-Age Information Management.Berlin,Germany:Springer-Verlag,2006:85-96. ［8］Sparck J K.A Statistical Interpretation of Term Specificity and Its Application in Retrieval［J］.Journal of Documentation,1972,28(1):11-21. ［9］Li Zefeng,He Bin.Adding Lexical Chain to Keyphrase Extraction［C］//Proceedings of the 11th Web Information System and Application Conference.Washington D.C.,USA:IEEE Press,2014:254-257. ［10］胡学钢,李星华,谢飞,等.基于词汇链的中文新闻网页关键词抽取方法［J］.模式识别与人工智能,2010,23(1):45-51. ［11］Hu Xiaohua,Zhang Xiaodan,Lu Caimei,et al.Exploiting Wikipedia as External Knowledge for Document Clustering［C］//Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York,USA:ACM Press,2009:389-396. ［12］王立霞,淮晓永.基于语义的中文文本关键词提取算法［J］.计算机工程,2012,38(1):1-4. ［13］谢飞,吴信东,胡学钢,等.基于语义联系的新闻网页关键词抽取［J］.广西师范大学学报(自然科学版),2009,27(1):145-148. ［14］Hulth A.Improved Automatic Keyword Extraction Given More Linguistic Knowledge［C］//Proceedings of Conference on Empirical Methods in Natural LanguageProcessing.Stroudsburg,USA:Association for Computational Linguistics,2003:216-223. ［15］Liu Zhiyuan,Huang Wenyi,Zheng Yabin,et al.Automatic Keyphrase Extraction via Topic Decomposition［C］//Proceedings of Conference on Empirical Methods in Natural Language Processing.Stroudsburg,USA:Association for Computational Linguistics,2010:366-376. ［16］Zhao Wayne Xin,Jiang Jing,He Jing,et al.Topical Keyphrase Extraction from Twitter［C］//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies.Stroudsburg,USA:Association for Computational Linguistics,2011:379-388. ［17］Mihalcea R,Tarau P.TextRank:Bringing Order into Texts［C］//Processdings of Conference on Empirical Methods in Natural Language Processing.Barcelona,Spain:Association for Computational Linguistics,2004. ［18］Wan Xiaojun,Xiao Jianguo.Single Document Keyphrase Extraction Using Neighborhood Knowledge［C］//Processdings of National Conference on Artificial Intelligence.New York,USA:ACM Press,2008:855-860. 编辑刘冰陆燕菲

[1]	杨文忠, 丁甜甜, 康鹏, 卜文秀. 基于舆情新闻的中文关键词抽取综述[J]. 计算机工程, 2023, 49(3): 1-17.
[2]	杨延娇, 赵国涛, 袁振强, 韩家臣. 融合语义特征的TextRank关键词抽取方法[J]. 计算机工程, 2021, 47(10): 82-88.
[3]	连晓伟, 马垚, 陈永乐, 张壮壮, 王建华. 基于载荷特征与统计特征的Shodan流量识别[J]. 计算机工程, 2021, 47(1): 117-122.
[4]	李俊, 吕学强. 融合BERT语义加权与网络图的关键词抽取方法[J]. 计算机工程, 2020, 46(9): 89-94.
[5]	曾维林, 刘桂华, 陈豪. 基于概率运动统计特征匹配的单目视觉SLAM[J]. 计算机工程, 2019, 45(12): 222-231,236.
[6]	吴腾,张志利,赵军阳,张海峰. 一种局部最佳阈值预测的自适应角点检测方法[J]. 计算机工程, 2018, 44(3): 270-274.
[7]	时念云,葛晓伟,马力. 基于用户人口统计特征与信任机制的协同推荐[J]. 计算机工程, 2016, 42(6): 180-184.
[8]	张志昌,姚东任,刘霞,陈松毅,鲁小勇. 融合句法结构变换与词汇语义特征的文本蕴涵识别[J]. 计算机工程, 2015, 41(9): 199-204.
[9]	蔡芳，沈一，南凯. 基于科研在线文档库平台的标签推荐系统[J]. 计算机工程, 2014, 40(5): 295-298.
[10]	蒋效宇. 基于关键词抽取的自动文摘算法?[J]. 计算机工程, 2012, 38(3): 183-186.
[11]	汪洋, 帅建梅. 基于语义扩展模型的中文网页关键词抽取[J]. 计算机工程, 2012, 38(22): 163-166.
[12]	吴雪垠, 吴谨, 刘劲, 吴建国. 小波系数统计特征量密写分析方法[J]. 计算机工程, 2012, 38(21): 138-140,144.
[13]	杨赛, 赵春霞. 基于隐含狄利克雷分配模型的图像分类算法[J]. 计算机工程, 2012, 38(14): 181-183.
[14]	王晅, 王峰, 梁荷岩. 基于Contourlet变换与SVM的掌纹识别[J]. 计算机工程, 2012, 38(06): 196-197.
[15]	李鑫;刘东林. 基于统计特征的P2P流量检测方法[J]. 计算机工程, 2010, 36(5): 114-115.

选择文件类型/文献管理软件名称

选择包含的内容

结合主题分布与统计特征的关键词抽取方法

Keyword Extraction Method Combining Topic Distribution with Statistical Features

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

结合主题分布与统计特征的关键词抽取方法

Keyword Extraction Method Combining Topic Distribution with Statistical Features

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价