基于DOM树和视觉特征的网页信息自动抽取

doi:10.3969/j.issn.1000-3428.2013.10.068

计算机工程

基于DOM树和视觉特征的网页信息自动抽取

黄武冠，朱明，尹文科

(中国科学技术大学自动化系，合肥 230027)

收稿日期:2012-08-10 出版日期:2013-10-15 发布日期:2013-10-14
作者简介:黄武冠(1987－)，男，硕士研究生，主研方向：Web信息抽取；朱明，教授、博士生导师；尹文科，博士研究生
基金项目:
国家科技支撑计划基金资助项目(2011BAH11B01)；中国科学院重点部署基金资助项目(KGZD-EW-103-(5))

Web Information Automatic Extraction Based on DOM Tree and Visual Feature

HUANG Wu-guan, ZHU Ming, YIN Wen-ke

(Department of Automation, University of Science and Technology of China, Hefei 230027, China)

Received:2012-08-10 Online:2013-10-15 Published:2013-10-14

摘要/Abstract

摘要： 针对生活信息服务网站的列表式商户信息，提出一种基于文档对象模型(DOM)树和视觉特征的网页信息自动抽取方法。利用商户信息列表页面中数据区域的DOM树结构和视觉特征，搜索得到候选目标数据区域，再利用视觉特征识别真正目标数据区域，从而抽取其中的数据记录。对10个生活信息服务网站进行测试，结果表明，有8个网站的召回率和准确率达到100%，取得了较好的结果。

关键词: 文档对象模型树, 视觉特征, 自动抽取, 数据记录, 数据区域, 挖掘算法

Abstract: This paper proposes an automatic extraction method based on Document Object Model(DOM) tree and visual features for Web information to extract businesses information in list pages of life information websites. By analyzing and using DOM tree and visual features of data regions in list pages, the method can get the candidate target data regions firstly. The method identifies the target data region by making use of visual features and extracts data records finally. The method tests ten life information websites and achieves 100% recall and 100% precision on eight websites. The results show that the proposed method can get better results.

Key words: Document Object Model(DOM) tree, visual feature, automatic extraction, data recording, data region, mining algorithm

中图分类号:

TP391

黄武冠，朱明，尹文科. 基于DOM树和视觉特征的网页信息自动抽取[J]. 计算机工程, doi: 10.3969/j.issn.1000-3428.2013.10.068.

HUANG Wu-guan, ZHU Ming, YIN Wen-ke. Web Information Automatic Extraction Based on DOM Tree and Visual Feature[J]. Computer Engineering, doi: 10.3969/j.issn.1000-3428.2013.10.068.

[1]	曾梦琪, 马蔚吟, 李力. 基于混合相似度的高效图像检索方案[J]. 计算机工程, 2019, 45(11): 262-268.
[2]	花卉. 多视觉特征结合有约束简化群优化的显著性目标检测[J]. 计算机工程, 2015, 41(11): 257-262.
[3]	许志坚，孙蕾. 基于数据富集区域的Web内容自动抽取[J]. 计算机工程, 2013, 39(9): 192-195.
[4]	郭建兵, 崔志明, 陈明, 赵朋朋. 基于DOM树与领域本体的Web抽取方法[J]. 计算机工程, 2012, 38(5): 56-58.
[5]	孔燕燕, 施化吉. 基于相似URL的深层网数据区域识别[J]. 计算机工程, 2012, 38(2): 48-50.
[6]	张晨, 汪永益, 王雄, 施凡. 基于网页DOM树比对的SQL注入漏洞检测[J]. 计算机工程, 2012, 38(18): 111-115.
[7]	储宇潼, 霍宏, 钱康, 朱辰阳, 方涛. 基于纹理图像分析的生物视觉模型不变性评价[J]. 计算机工程, 2012, 38(16): 23-26.
[8]	钱康, 霍宏, 方涛. 结合稀疏编码的生物视觉特征提取方法[J]. 计算机工程, 2012, 38(13): 1-4.
[9]	刘伟, 严华梁. 一种统一的Web新闻对象自动抽取方法[J]. 计算机工程, 2012, 38(11): 167-169.
[10]	吕永乐;郎荣玲. 基于奇异值分解的飞行数据降噪方法[J]. 计算机工程, 2010, 36(3): 260-262.
[11]	杨舟, 卓林, 赵朋朋, 崔志明. 一种针对商品数据记录的自动抽取方法[J]. 计算机工程, 2010, 36(23): 262-265.
[12]	詹芹. 基于抗体选择策略的克隆挖掘算法[J]. 计算机工程, 2010, 36(10): 50-51.
[13]	曲著伟;李敏强. 基于数据区域发现的信息抽取规则生成方法[J]. 计算机工程, 2009, 35(22): 59-61.
[14]	李伟;王新房;刘妮. 基于项目的非邻近序列模式推荐算法[J]. 计算机工程, 2009, 35(16): 65-67.
[15]	孙铁强;尹怡欣;董洁;涂序彦. 基于机器视觉和神经网络的烧结质量预测[J]. 计算机工程, 2008, 34(11): 240-242.

基于DOM树和视觉特征的网页信息自动抽取

Web Information Automatic Extraction Based on DOM Tree and Visual Feature

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10