作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

计算机工程 ›› 2012, Vol. 38 ›› Issue (11): 167-169. doi: 10.3969/j.issn.1000-3428.2012.11.051

• 人工智能及识别技术 • 上一篇    下一篇

一种统一的Web新闻对象自动抽取方法

刘 伟1,严华梁2   

  1. (1. 中国科学技术信息研究所,北京 100038;2. 北京大学计算机科学技术研究所,北京 100871)
  • 收稿日期:2011-09-09 出版日期:2012-06-05 发布日期:2012-06-05
  • 作者简介:刘 伟(1976-),男,助理研究员,主研方向:网络信息处理;严华梁,硕士研究生
  • 基金资助:
    国家“863”计划基金资助项目(2008AA01Z421);中国科学技术信息研究所预研基金资助项目(YY-201103)

Unified and Automatic Web News Object Extraction Approach

LIU Wei   1, YAN Hua-liang   2   

  1. (1. Institute of Scientific and Technical Information of China, Beijing 100038, China; 2. Institute of Computer Science & Technology, Peking University, Beijing 100871, China)
  • Received:2011-09-09 Online:2012-06-05 Published:2012-06-05

摘要: 提出一种统一的Web新闻对象自动抽取方法。通过抽取新闻页面中的分类、标题、发布时间、来源、作者、内容、相关评论链接和相关新闻链接作为分类属性,经页面解析、候选值抽取、真值识别3个步骤,实现新闻对象的自动抽取。实验结果表明,该方法在同时抽取新闻对象的多个属性方面具有较高的准确性,且抽取结果不依赖于特定的页面模板。

关键词: Web数据抽取, 视觉特征, 序列标注, 网页模板, 新闻属性, 新闻对象

Abstract: This paper proposes a unified and automatic approach for extracting Web news object. By extracting the category, title, date, source, author, content, comments, related links and news links in the news pages as category properties, and through page analysis, candidate extraction and true value identification, news object can be extracted automatically. Experimental results show that the method for extracting information of objects multiple properties has high accuracy, and the result does not depend on a specific page template.

Key words: Web data extraction, visual feature, sequence tagging, Web page template, news attribute, news object

中图分类号: