基于VDCNN与LSTM混合模型的中文文本分类研究

doi:10.19678/j.issn.1000-3428.0048715

计算机工程 ›› 2018, Vol. 44 ›› Issue (11): 190-196. doi: 10.19678/j.issn.1000-3428.0048715

基于VDCNN与LSTM混合模型的中文文本分类研究

彭玉青,宋初柏,闫倩,赵晓松,魏铭

河北工业大学人工智能与数据科学学院,天津 300401

收稿日期:2017-09-18 出版日期:2018-11-15 发布日期:2018-11-15
作者简介:彭玉青(1969—),女,教授,主研方向为智能信息处理、计算机视觉;宋初柏、闫倩、赵晓松、魏铭,硕士研究生
基金资助:
河北省自然科学基金重点项目(F2016202144);河北省自然科学基金面上项目(F2017202145)

Research on Chinese Text Classification Based on Hybrid Model of VDCNN and LSTM

PENG Yuqing,SONG Chubai,YAN Qian,ZHAO Xiaosong,WEI Ming

School of Artificial Intelligence,Hebei University of Technology,Tianjin 300401,China

Received:2017-09-18 Online:2018-11-15 Published:2018-11-15

摘要/Abstract

摘要：

自然语言在结构上存在一定的前后依赖性,且将中文文本直接转化为向量时会使维度过高,从而导致现有文本分类方法精度较低。为此,建立一种超深卷积神经网络(VDCNN)与长短期记忆网络(LSTM)相结合的混合模型。通过VDCNN的深度结构来提取文本向量的特征,利用LSTM具有存储历史信息的特点提取长文本的上下文依赖关系,同时引入词嵌入将文本转换为低维度向量。在Sogou语料库和复旦大学中文语料库上进行实验,结果表明,相对CNN+rand、LSTM等模型,该混合模型可以有效提升文本分类的精确率。

关键词: 文本分类, 卷积神经网络, 长短期记忆网络, 词嵌入, 深度残差网络

Abstract:

Due to the structural dependence of natural language,and the high dimensionality when Chinese text is directly transformed into vector,the accuracy of existing text classification methods is low.To solve this problem,a hybrid model of Very Deep Convolution Neural Network(VDCNN) and Long Short-Term Memory network(LSTM) is proposed.The depth structure of VDCNN is used to extract the features of text vectors,the context dependence of long text is extracted by using LSTM’s feature of storing historical information,and word embedding is introduced to transform text into low-dimensional vector.Experimental on Sogou corpus and Fudan University Chinese corpus show that,the hybrid model can effectively improve the accuracy of text classification compared with CNN+rand and LSTM.

Key words: text classification, Convolution Neural Network(CNN), Long Short-Term Memory network(LSTM), word embedding, deep Residual Networks(ResNets)

中图分类号:

TP182

彭玉青,宋初柏,闫倩,赵晓松,魏铭. 基于VDCNN与LSTM混合模型的中文文本分类研究[J]. 计算机工程, 2018, 44(11): 190-196.

PENG Yuqing,SONG Chubai,YAN Qian,ZHAO Xiaosong,WEI Ming. Research on Chinese Text Classification Based on Hybrid Model of VDCNN and LSTM[J]. Computer Engineering, 2018, 44(11): 190-196.

http://www.ecice06.com/CN/Y2018/V44/I11/190

参考文献

［1］BENGIO Y,DUCHARME R,VINCENT P,et al.A neural probabilistic language model［J］.Journal of Machine Learning Research,2003,3(6):1137-1155.
［2］黄文明,莫阳.基于文本加权KNN算法的中文垃圾短信过滤［J］.计算机工程,2017,43(3):193-199.
［3］黄磊,杜昌顺.基于递归神经网络的文本分类研究［J］.北京化工大学学报(自然科学版),2017,44(1):98-104.
［4］殷亚博,杨文忠,杨慧婷,等.基于卷积神经网络和KNN的短文本分类算法研究［J］.计算机工程,2018,44(7):193-198.
［5］夏从零,钱涛,姬东鸿,等.基于事件卷积特征的新闻文本分类［J］.计算机应用研究,2017(4):991-994.
［6］张冲.基于Attention-Based LSTM模型的文本分类技术的研究［D］.南京:南京大学,2016.
［7］QIAN Y,WOODLAND P C.Very deep convolutional neural networks for robust speech recognition［C］//Proceedings of 2016 IEEE Spoken Language Technology Workshop.Washington D.C.,USA:IEEE Press,2016:481-488.
［8］SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［EB/OL］.［2017-09-10］.http://x-algo.cn/wp-content/uploads/2017/01/VERY-DEEP-CONVOLUTIONAL-NETWORK-SFOR-LARGE-SCALE-IMAGE-RECOGNITION.pdf.
［9］HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2016:770-778.
［10］KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks［C］//Proceedings of International Conference on Neural Information Processing Systems.［S.l.］:Curran Associates Inc.,2012:1097-1105.
［11］IOFFE S,SZEGEDY C.Batch normalization:accelerating deep network training by reducing internal covariate shift［C］//Proceedings of International Conference on Machine Learning.Washington D.C.,USA:IEEE Press,2015:448-456.
［12］LAI S,XU L,LIU K,et al.Recurrent convolutional neural networks for text classification［C］//Proceedings of the 29th AAAI Conference on Artificial Intelligence.［S.l.］:AAAI Press,2015:2267-2273.
［13］YANG Z,YANG D,DYER C,et al.Hierarchical attention networks for document classification［EB/OL］.［2017-09-10］.http://www.m-mitchell.com/NAACL-2016/NAACL-HLT2016/pdf/N16-1174.pdf.
［14］ZHANG X,ZHAO J,LECUN Y.Character-level convolutional networks for text classification［C］//Proceedings of NIPS’15.Cambridge,USA:MIT Press,2015:649-657.
［15］周庆平,谭长庚,王宏君,等.基于聚类改进的KNN文本分类算法［J］.计算机应用研究,2016,33(11):3374-3377.
［16］ZHOU C,SUN C,LIU Z,et al.A C-LSTM neural network for text classification［J］.Computer Science,2015,1(4):39-44.
［17］蔡慧苹.基于卷积神经网络的短文本分类方法研究［D］.重庆:西南大学,2016.
［18］LIU P,QIU X,CHEN X,et al.Multi-timescale long short-term memory neural network for modelling sentences and documents［C］//Proceedings of Conference on Empirical Methods in Natural Language Processing.Washington D.C.,USA:IEEE Press,2015:2326-2335.
［19］WANG P,XU B,XU J,et al.Semantic expansion using word embedding clustering and convolutional neural network for improving short text classification［J］.Neurocomputing,2016,174:806-814.
［20］李文波,孙乐,张大鲲.基于Labeled-LDA模型的文本分类新算法［J］.计算机学报,2008,31(4):620-627.

[1]	曹坪, 杨怀志, 薄一军, 尤嘉, 张淳杰, 李丹勇. 面向低质量裂缝图像的多知识蒸馏分类[J]. 计算机工程, 2023, 49(7): 204-213.
[2]	白明昌. 基于折叠路径聚合的属性网络节点嵌入方法[J]. 计算机工程, 2023, 49(7): 76-84.
[3]	席建锐, 唐红梅, 梁春阳, 刘鑫. 基于改进隐函数的点云物体重建[J]. 计算机工程, 2023, 49(7): 214-222.
[4]	张博旭, 蒲智, 程曦. 基于提示学习的维吾尔语文本分类研究[J]. 计算机工程, 2023, 49(6): 292-299,313.
[5]	代祖华, 刘园园, 狄世龙. 语义增强的图神经网络方面级文本情感分析[J]. 计算机工程, 2023, 49(6): 71-80.
[6]	沈学利, 田桂源, 姜彦吉, 马琳琳. 基于双阶段Conv-Transformer的时频域语音增强算法[J]. 计算机工程, 2023, 49(6): 123-130.
[7]	赵宏, 陈志文, 郭岚, 安冬. 基于ViT与语义引导的视频内容描述生成[J]. 计算机工程, 2023, 49(5): 247-254.
[8]	丁子轩, 俞雷, 张娟, 李想, 王新宇. 基于深度残差自适应注意力网络的图像超分辨率重建[J]. 计算机工程, 2023, 49(5): 231-238.
[9]	陈治旭, 靳雁霞, 芦烨, 杨晶, 刘亚变, 史志儒. 基于子图卷积神经网络的多精度服装建模方法[J]. 计算机工程, 2023, 49(4): 174-181.
[10]	曹书鑫, 冯藤藤, 葛凤培, 梁春燕. 基于尺度相关‐双向长短期记忆网络模型的说话人识别[J]. 计算机工程, 2023, 49(4): 289-296.
[11]	徐康, 李霏, 姬东鸿. 结合依存图卷积与文本片段搜索的方面情感三元组抽取[J]. 计算机工程, 2023, 49(4): 61-67.
[12]	关日鹏, 况立群, 焦世超, 熊风光, 韩燮. 多模态特征融合与词嵌入驱动的三维检索方法[J]. 计算机工程, 2023, 49(4): 101-107,113.
[13]	衡红军, 苗菁. 语义与句法信息加强的二元标记实体关系联合抽取[J]. 计算机工程, 2023, 49(4): 77-84.
[14]	钟宝荣, 吴夏灵. 基于高分辨率网络的轻量型人体姿态估计研究[J]. 计算机工程, 2023, 49(4): 226-232,239.
[15]	杨晶晶, 谢海燕, 薛妮妮, 张傲明. 基于双通道残差网络的水下图像去噪研究[J]. 计算机工程, 2023, 49(4): 188-198.

选择文件类型/文献管理软件名称

选择包含的内容

基于VDCNN与LSTM混合模型的中文文本分类研究

Research on Chinese Text Classification Based on Hybrid Model of VDCNN and LSTM

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

基于VDCNN与LSTM混合模型的中文文本分类研究

Research on Chinese Text Classification Based on Hybrid Model of VDCNN and LSTM

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价