基于迭代算法的新词识别

doi:10.3969/j.issn.1000-3428.2014.07.032

计算机工程

基于迭代算法的新词识别

赵小宝，张华平

(北京理工大学计算机学院，北京 100081)

收稿日期:2013-03-28 出版日期:2014-07-15 发布日期:2014-07-14
作者简介:赵小宝(1987－)，男，硕士研究生，主研方向：自然语言处理，信息检索；张华平，副研究员、博士。
基金项目:
国家自然科学基金资助项目(61272362)。

New Words Identification Based on Iterative Algorithm

ZHAO Xiao-bao, ZHANG Hua-ping

(School of Computer Science & Technology, Beijing Institute of Technology, Beijing 100081, China)

Received:2013-03-28 Online:2014-07-15 Published:2014-07-14

摘要/Abstract

摘要： 新词识别是中文信息处理的重要基础，但中文字符极强的构词能力给新词检测带来较大困难。受对偶原理的启发，提出一种基于迭代算法的新词识别算法。对目标语料进行分词和词性标注，通过两遍扫描进行字符串统计并提取重复模式。结合词语结构的特征，迭代使用重复模式互信息、左(右)熵，左(右)邻右(左)平均熵等特征进行新词识别，获得候选新词列表。利用中文词语搭配库对候选新词列表进行最后一次过滤得到最终新词列表。实验结果表明，利用该方法进行新词识别，P@10值达到100%，P@100值提高至90%，左(右)邻右(左)平均熵可在一定程度上提高新词识别的准确率。

关键词: 对偶原理, 新词识别, 迭代算法, 信息熵, 重复模式, 中文词语搭配库

Abstract: New words identification is an important foundation for Chinese information processing. However, the energetic word building ability of Chinese makes it difficult to automatically identify new words. Inspired by the duality principle, a new word identification algorithm based on iterative algorithm is proposed. The target corpus is analyzed for segmentation and part-of-speech tagging. The repetitive patterns are extracted after statistic of string frequency through scanning twice. Combining with word structure's characteristics, the candidate list of new words is obtained through iteratively using characteristics of repetitive patterns such as Mutual Information(MI), the left(right) entropy, the right(left) average entropy of the left(right) neighbor. The final list of new words is obtained by filtering the candidate list with the help of the library of Chinese words collocation. With this method for identification of new words, results show that the value of P@10 reaches 100%, and that of P@100 increases to 90%, the use of the right(left) average entropy of the left(right) neighbor can raise the accuracy of new words identification.

Key words: duality principle, new words identification, iterative algorithm, information entropy, repetitive pattern, the library of Chinese words collocation

中图分类号:

TP18

赵小宝，张华平. 基于迭代算法的新词识别[J]. 计算机工程, doi: 10.3969/j.issn.1000-3428.2014.07.032.

ZHAO Xiao-bao, ZHANG Hua-ping. New Words Identification Based on Iterative Algorithm[J]. Computer Engineering, doi: 10.3969/j.issn.1000-3428.2014.07.032.

参考文献

参考文献 [1] 朱德熙. 语法讲义[M]. 北京: 商务印书馆, 2004. [2] 刘群, 张华平, 俞鸿魁, 等. 基于层叠隐马模型的汉语词法分析[J]. 计算机研究与发展, 2004, 41(8): 1421-1429. [3] 李钝, 屠卫, 石磊, 等. 基于上下文感知的中文新词识别算法[J]. 计算机工程与设计, 2012, 33(10): 4022-4027. [4] 郑家恒, 李文花. 基于构词法的网络新词自动识别初探[J]. 山西大学学报: 自然科学版, 2002, 25(2): 115-119. [5] 邹刚, 刘群. 面向Internet的中文新词语检测[J]. 中文信息学报, 2004, 18(6): 1-9. [6] 张海军, 栾静, 李勇, 等. 基于统计学习框架的中文新词检查方法[J]. 计算机科学, 2012, 39(2): 232-235. [7] Sun Xiao, Huang Degen, Song Haiyu. Chinese New Word Identification: A Latent Discriminative Model with Global Features[J]. Journal of Computer Science and Technology, 2011, 26(1): 14-24. [8] Sun Xu, Wang Houfeng, Li Wenjie. Association for Computa- tional Linguistics[C]//Proc. of the 50th Annual Meeting of the Association for Computational Linguistics. [S. 1.]: Associ- ation for Computational Linguistics, 2012: 123-128. [9] Liu Zhiyuan, Zheng Yabin, Xie Lixing, et al. User Behaviors in Related Word Retrieval and New Word Detection: A Collaborative Perspective[J]. ACM Transactions on Asian Language Information Processing, 2011, 10(4): 20-27. [10] 林自芳, 蒋秀凤. 基于改进位置成词概率的新词识别[J]. 福州大学学报: 自然科学版, 2011, 39(1): 43-48. [11] Wang Hanshi, Zhu Jian, Tang Shiping, et al. A New Unsupervised Approach to Word Segmentation[J]. Comput- ational Linguistics, 2011, 37(3): 421-454. [12] 搜狗实验室. 搜狗中文词语搭配库[EB/OL]. (2009-01-20). http://www.sogou.com/labs/resources.htm. 编辑索书志

[1]	王旭, 陈永乐, 王庆生, 陈俊杰. 结合特征选择与集成学习的密码体制识别方案[J]. 计算机工程, 2021, 47(1): 139-145,153.
[2]	赵军, 朱荽, 杨雯璟, 许彦辉, 庞宇. 一种基于密度峰值聚类的图像分割算法[J]. 计算机工程, 2020, 46(2): 274-278,285.
[3]	冯刚,覃锡忠,贾振红,牛红梅,王哲辉. 认知无线电环境下无线能量通信网能效研究[J]. 计算机工程, 2019, 45(3): 142-147.
[4]	牛小宁,刘宏哲,袁家政,宣寒宇. 基于Inliers跟踪统计的RGB-D室内定位与地图构建[J]. 计算机工程, 2018, 44(9): 15-21,27.
[5]	刘欣,陈智斌,文有为. 基于交替迭代的均匀噪声消除算法[J]. 计算机工程, 2018, 44(7): 316-320.
[6]	翟永,李宁,王晓飞. 基于带宽利用率的指数函数调制路由算法[J]. 计算机工程, 2018, 44(6): 93-99,103.
[7]	薛敏,方勇,黄诚,刘亮. 源代码中的API密钥自动识别方法[J]. 计算机工程, 2018, 44(6): 117-121,129.
[8]	黄玉洁,唐作其,梁静. 基于信息熵与三参数区间的信息安全风险评估[J]. 计算机工程, 2018, 44(12): 178-183.
[9]	楚万顺,张起贵. 基于全双工中继网络的功率分配优化策略[J]. 计算机工程, 2018, 44(1): 149-153.
[10]	陈宇,李洪宇,夏宗基. 基于修正隐式Landweber方法的ECT图像重建算法 [J]. 计算机工程, 2018, 44(1): 268-273.
[11]	任卓君,陈光. 熵可视化方法在恶意代码分类中的应用[J]. 计算机工程, 2017, 43(9): 167-171.
[12]	安建瑞,张龙波,王雷,金超,怀浩,王晓丹. 一种基于网格与加权信息熵的OPTICS改进算法[J]. 计算机工程, 2017, 43(2): 206-209.
[13]	刘超,贺利军,朱光宇. 基于熵和隶属度函数的高维多目标优化问题求解[J]. 计算机工程, 2016, 42(6): 185-190,195.
[14]	李梁凯,徐庆,罗小小. 结合Tsallis熵与Jensen距离的视频关键帧抽取方法[J]. 计算机工程, 2016, 42(2): 278-282.
[15]	刘燕妮,张贵仓,安静. 基于数学形态学的双直方图均衡化图像增强算法[J]. 计算机工程, 2016, 42(1): 215-219.

基于迭代算法的新词识别

New Words Identification Based on Iterative Algorithm

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10