作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

计算机工程 ›› 2010, Vol. 36 ›› Issue (13): 76-78. doi: 10.3969/j.issn.1000-3428.2010.13.027

• 软件技术与数据库 • 上一篇    下一篇

Web页面自顶向下的正文信息定位算法

缪 霖,邱会中   

  1. (电子科技大学计算机科学与工程学院,成都 610054)
  • 出版日期:2010-07-05 发布日期:2010-07-05
  • 作者简介:缪 霖(1984-),男,硕士研究生,主研方向:数据库技术与应用,软件工程;邱会中,副教授
  • 基金资助:
    国家“863”计划基金资助项目“Web舆情的社会网络关系挖掘”(2007AA01Z440)

Web Page Top-down Content Information Localization Algorithm

MIAO Lin, QIU Hui-zhong   

  1. (College of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 610054)
  • Online:2010-07-05 Published:2010-07-05

摘要: 正文信息是一个Web网页中除了链接、导航、广告等以外的主题信息。提出并实现一种针对含“正文”的Web页面的信息提取算法。该算法采用自顶向下遍历HTML标签树的方法,通过文字链接率、连续文字长度等统计数据不断筛选、分析,从而定位最佳正文信息域,将文字内容提取出来。实验结果表明,该算法可行性强,具有较高的准确率。

关键词: 正文信息定位, 文字链接率, 最佳正文子树, 标签树

Abstract: Content information is the topic information of a Web page excluding links, navigations, advertisement and so on. This paper proposes and implements an information extraction algorithm including content Web page. By taking a top-down traversing of HTML tag tree of Web page and continuously analyzing the statistics within like text link rate and continuous text length, it can locate the best content information region and extract the text content. Experimental results show the high feasibility and accuracy rate of the algorithm.

Key words: content information localization, text link rate, best content sub tree, tag tree

中图分类号: