基于正文相关度的维吾尔网页正文提取

doi:10.3969/j.issn.1000-3428.2012.21.041

计算机工程 ›› 2012, Vol. 38 ›› Issue (21): 153-156,160.doi: 10.3969/j.issn.1000-3428.2012.21.041

基于正文相关度的维吾尔网页正文提取

王瑞^1,2，周喜¹，李晓¹

(1中国科学院新疆理化技术研究所，乌鲁木齐 830011；2. 中国科学院研究生院，北京 100049)

收稿日期:2012-02-07 出版日期:2012-11-05 发布日期:2012-11-02
作者简介:王瑞(1985－)，男，硕士研究生，主研方向：自然语言理解；周喜，副研究员；李晓，研究员、博士生导师
基金项目:
新疆维吾尔自治区高技术研究发展基金资助项目(201012112)；新疆维吾尔自治区电子发展专项基金资助项目(XJDZZXZJ20109)

Content Extraction of Uighur Web Based on Content Correlativity

WANG Rui ^1,2, ZHOU Xi¹, LI Xiao¹

(1. Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences, Urumqi 830011, China; 2. Graduate University of Chinese Academy of Sciences, Beijing 100049, China)

Received:2012-02-07 Online:2012-11-05 Published:2012-11-02

摘要/Abstract

摘要： 网页表达的主要信息通常隐藏在大量无关的结构与文字中，使正文信息不能被迅速获取，影响文本检测的效率。为此，根据维吾尔网页的非规范化编码、论坛型网页较多等特点，提出一种基于正文相关度的正文提取算法，并建立上下文正文密度和节点间正文比例等数学模型对算法进行改进。对大量维吾尔网页的实验结果表明，该算法具有较好的正文提取正确率和召回率，能够有效地从维吾尔网页中提取到所需的正文信息。

Abstract: In addition to the main content, most Uighur Web contain noises such as navigation panels, advertisements which are not related to the main content. To improve the efficiency of security detection, this paper presents a content extraction algorithm of Uighur Web based on Web text correlativity, and designs the model of text density and content scale to improve the algorithm. Experimental result shows that this algorithm can extract the main content from the Uighur Web efficiently.

Key words: content extraction, content correlativity, information security, natural language processing, content density

中图分类号:

TP391

王瑞, 周喜, 李晓. 基于正文相关度的维吾尔网页正文提取[J]. 计算机工程, 2012, 38(21): 153-156,160.

WANG Rui, ZHOU Chi, LI Xiao. Content Extraction of Uighur Web Based on Content Correlativity[J]. Computer Engineering, 2012, 38(21): 153-156,160.

[1]	许硕, 唐作其, 王鑫. 基于D-AHP与灰色理论的信息安全风险评估[J]. 计算机工程, 2019, 45(7): 194-202.
[2]	易国洪,代瑜,冯智莉,黎慧源. 基于SVM与DOM重心半径模型的Web正文提取[J]. 计算机工程, 2019, 45(6): 206-210.
[3]	蔡林森,彭超,陈思远,郭兰英. 基于多样化特征卷积神经网络的情感分析[J]. 计算机工程, 2019, 45(4): 169-174,180.
[4]	谭跃生,鲁黎明,王静宇. 基于安全三方计算的密文策略加密方案[J]. 计算机工程, 2019, 45(1): 115-120,128.
[5]	陈斌,周勇,刘兵. 基于卷积双向长短期记忆网络的事件触发词抽取[J]. 计算机工程, 2019, 45(1): 153-158.
[6]	张祯,樊兴悦,郭禹田,吴国华. 基于Topic Signature的动态文摘更新方法[J]. 计算机工程, 2018, 44(6): 169-175.
[7]	张晓冰,杨启亮,邢建春,韩德帅. 面向软件模糊自适应的语音式任务目标识别与结构化转换[J]. 计算机工程, 2018, 44(4): 59-65.
[8]	杜远志,杜学绘,杨智. 云计算环境下基于属性加密的信息流控制及实现[J]. 计算机工程, 2018, 44(3): 27-36.
[9]	吴旭康,杨旭光,陈园园,王营冠,张阅川. 主题联合词向量模型[J]. 计算机工程, 2018, 44(2): 233-237,270.
[10]	黄玉洁,唐作其,梁静. 基于信息熵与三参数区间的信息安全风险评估[J]. 计算机工程, 2018, 44(12): 178-183.
[11]	何鸿业,郑瑾,张祖平. 结合词性特征与卷积神经网络的文本情感分析[J]. 计算机工程, 2018, 44(11): 209-214,221.
[12]	石立鹏,王莉. 基于遍历约束与交互信息增强的社交网络表征算法[J]. 计算机工程, 2018, 44(11): 215-221.
[13]	易文康,程骅,程耕国. Shiro框架在Web系统安全性上的改进与应用[J]. 计算机工程, 2018, 44(11): 135-139.
[14]	胡计鹏,谭励,杨明华,张亚明. 一种基于可信密码模块的用户行为度量方法[J]. 计算机工程, 2017, 43(5): 121-128.
[15]	简春福,谢吉华,金钧华. 云端数字签名技术的研究与应用[J]. 计算机工程, 2017, 43(12): 1-5.

基于正文相关度的维吾尔网页正文提取

Content Extraction of Uighur Web Based on Content Correlativity

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10