作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

›› 2005, Vol. 31 ›› Issue (05): 9-11.

• 论文 •    下一篇

基于倒排索引的文本相似搜索

杨建武,陈晓鸥   

  1. 北京大学计算机研究所,北京大学计算机研究所 文字信息处理技术国家重点实验室,北京 100871,文字信息处理技术国家重点实验室,北京 100871研究员
  • 发布日期:2005-03-15

A Similarity Search Algorithm for Text Based on Inverted-index

YANG Jianwu, CHEN Xiaoou   

  1. (National KeyLaboratory for Text Processing, Institute of Computer Science & Technology, Peking University, Beijing 100871)
  • Published:2005-03-15

摘要: 根据文本向量的维分布的稀疏性,提出了基于倒排索引的文本相似搜索算法。该算法通过倒排索引进行维过滤,快速获得尽量小的目标集的超集。实验表明,在海量文本环境下,该方法虽略微损失准确度,但其速度远远高于传统基于多维索引的算法。

关键词: 相似搜索, 倒排索引, 多维索引, 文本相似搜索

Abstract: For the dimensions sparseness of the text set, a new similarity search algorithm for text set is proposed, which is based on inverted-index. The algorithm can quickly gain a super-set for the targets by search on inverted-index. Experiments show that the algorithm is faster than the algorithm based on multi-dimension index for huge text set, while a little nicetylosing.

中图分类号: