摘要: 针对基于统计模型的中文分词系统,从系统实现的角度探讨了主流的相关技术,涉及:n-gram语言模型,语料库,统计模型的参数 估计及参数平滑等概念,重点对Katz平滑算法作了改进,并在分词系统原型中实现了该算法。
关键词:
中文分词,
语料库,
n-gram模型,
Katz平滑
Abstract: This paper gives some insight into related theory and technology of Chinese word segmentation, and presents a n-gram model based on Katz smoothing.
中图分类号:
黄建中,王肖雷. Katz平滑算法在中文分词系统中的应用[J]. , 2004, 30(S1): 383-384.
HUANG Jianzhong,WANG Xiaolei. Application of Katz Smoothing in Chinese Word Segmentation System[J]. , 2004, 30(S1): 383-384.