主题联合词向量模型

计算机工程

主题联合词向量模型

吴旭康 ^1,2,杨旭光³,陈园园³,王营冠 ¹,张阅川 ³

(1.中国科学院上海微系统与信息技术研究所,上海 200050;2.上海科技大学信息科学与技术学院,上海 201210; 3.上海物联网有限公司,上海 200018)

收稿日期:2016-12-30 出版日期:2018-02-15 发布日期:2018-02-15
作者简介:吴旭康(1992—),男,硕士,主研方向为自然语言处理;杨旭光,博士;陈园园,工程师、硕士;王营冠,研究员、博士;张阅川,硕士。
基金资助:
上海市自然科学基金“阵元互耦条件下基于空域稀疏的阵列测向方法研究”(15ZR1439800);上海市科技创新行动计划项目(15DZ1100400,16511105300)。

Topic Combined Word Vector Model

WU Xukang ^1,2,YANG Xuguang³,CHEN Yuanyuan ³,WANG Yingguan ¹,ZHANG Yuechuan³

(1.Shanghai Institute of Microsystem and Information Technology,Chinese Academy of Sciences,Shanghai 200050,China; 2.School of Information Science and Technology,ShanghaiTech University,Shanghai 201210,China; 3.Shanghai Internet of Things,Co.,Ltd.,Shanghai 200018,China)

Received:2016-12-30 Online:2018-02-15 Published:2018-02-15

摘要/Abstract

摘要： 当前大部分的词向量模型针对一个单词只能生成一个向量,由于单词的多义性,使用同一个向量表达不同语境下的同一个单词是不准确的。对此,提出一种新的词向量模型。使用潜狄利克雷特分布和神经网络对单词进行训练,得到单词及其主题的向量,并对两者进行线性变换得到最终的词向量。实验结果表明,该模型的准确度高于现有多向量模型。

关键词: 自然语言处理, 词向量, 主题模型, 神经网络, 哈夫曼树

Abstract: Currently,most word vector models can build only one vector for a single word.Due to word’s polysemy,it is incorrect to use one vector representing a same word under different context.This paper proposes a new word vector model.It uses latent dirichlet distribution and neural networks to train words to obtain word vectors and corresponding topic vectors.And then it applies linear transformations on them to build the final word vectors.Experimental results show that the accuracy of proposed model is high compared with current multi-vector models.

Key words: natural language processing, word vector, topic model, neural network, Haffman tree

中图分类号:

TP391.1

吴旭康,杨旭光,陈园园,王营冠,张阅川. 主题联合词向量模型[J]. 计算机工程.

WU Xukang,YANG Xuguang,CHEN Yuanyuan,WANG Yingguan,ZHANG Yuechuan. Topic Combined Word Vector Model[J]. Computer Engineering.

参考文献

参考文献［1］TURIAN J,RATINOV L,BENGIO Y.Word Representa-tions:A Simple and General Method for Semi-supervised Learning［C］//Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics.Uppsala,Sweden:［s.n.］,2010:384-394. ［2］冯冲,石戈,郭宇航,等.基于词向量语义分类的微博实体链接方法［J］.自动化学报,2016,42(6):915-922. ［3］WANG Yiou,JUN’ICHI K Y T,TSURUOKA Y,et al.Improving Chinese Word Segmentation and POS Tagging with Semi-supervised Methods Using Large Auto-analyzed Data［C］//Proceedings of IJCNLP’11.New York,USA:［s.n.］,2011:309-317. ［4］李华,屈丹,张文林,等.结合全局词向量特征的循环神经网络语言模型［J］.信号处理,2016,32(6):715-723. ［5］REISINGER J,MOONEY R J.Multi-prototype Vector-space Models of Word Meaning［C］//Proceedings of Human Language Technologies:The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics.New York,USA:ACM Press,2010:109-117. (下转第270页) (上接第237页) ［6］HUANG E H,SOCHER R,MANNING C D,et al.Improving Word Representations via Global Context and Multiple Word Prototypes［C］//Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics:Long Papers-Volume 1.New York,USA:ACM Press,2012:873-882. ［7］BENGIO Y,DUCHARME R,VINCENT P,et al.A Neural Probabilistic Language Model［J］.Journal of Machine Learning Research,2003,3:1137-1155. ［8］TIAN Fei,DAI Hanjun,BIAN Jiang,et al.A Probabilistic Model for Learning Multi-prototype Word Embeddings［C］//Proceedings of COLING’14.New York,USA:［s.n.］,2014:151-160. ［9］LIU Yang,LIU Zhiyuan,CHUA T S,et al.Topical Word Embeddings［C］//Proceedings of the 29th AAAI Conference on Artificial Intelligence.Austin,USA:［s.n.］,2015:2418-2424. ［10］FU Xianghua,WANG Ting,LI Jing,et al.Improving Distributed Word Representation and Topic Model by Word-topic Mixture Model［C］//Proceedings of the 8th Asian Conference on Machine Learning.Hamilton,New Zealand:［s.n.］,2016:190-205. ［11］MIKOLOV T,SUTSKEVER I,CHEN Kai,et al.Distributed Representations of Words and Phrases and Their Compositionality［C］//Proceedings of Advances in Neural Information Processing Systems.New York,USA:［s.n.］,2013:3111-3119. ［12］GUTHRIE D,ALLISON B,LIU Wei,et al.A Closer Look at Skip-Gram Modelling［C］//Proceedings of the 5th International Conference on Language Resources and Evaluation.Genoa,Italy:［s.n.］,2006:1222-1225. ［13］WALLACH H M.Topic Modeling:Beyond Bag-of-words［C］//Proceedings of the 23rd International Conference on Machine Learning,New York,USA:ACM Press,2006:977-984. ［14］BLEI D M,NG A Y,JORDAN M I.Latent Dirichlet Allocation［J］.Journal of Machine Learning Research,2003,3:993-1022. ［15］TATA S,PATEL J M.Estimating the Selectivity of TF-IDF Based Cosine Similarity Predicates［J］.ACM Sigmod Record,2007,36(2):7-12. 编辑刘冰

[1]	靳雁霞, 史志儒, 杨晶, 刘亚变, 乔星宇, 张翎. 布料与精细建模物体间的碰撞检测算法研究[J]. 计算机工程, 2023, 49(7): 269-277.
[2]	曹坪, 杨怀志, 薄一军, 尤嘉, 张淳杰, 李丹勇. 面向低质量裂缝图像的多知识蒸馏分类[J]. 计算机工程, 2023, 49(7): 204-213.
[3]	白明昌. 基于折叠路径聚合的属性网络节点嵌入方法[J]. 计算机工程, 2023, 49(7): 76-84.
[4]	赵世豪, 毛国君, 熊保平, 黄山, 林江宏. 基于图小波卷积神经网络的时空图挖掘模型[J]. 计算机工程, 2023, 49(7): 85-93.
[5]	郭艳霞, 金勇, 唐宏, 彭金枝. 基于动态卷积与残差门控的多模态情感识别[J]. 计算机工程, 2023, 49(7): 94-101.
[6]	廖涛, 孙皓洁, 张顺香. 基于跨度和特征融合的实体关系联合抽取模型[J]. 计算机工程, 2023, 49(6): 107-114.
[7]	于海洋, 景鹏, 张文涛, 谢赛飞, 滑志华, 宋草原. 基于残差与注意力机制的道路裂缝检测U-Net改进模型[J]. 计算机工程, 2023, 49(6): 265-273.
[8]	代祖华, 刘园园, 狄世龙. 语义增强的图神经网络方面级文本情感分析[J]. 计算机工程, 2023, 49(6): 71-80.
[9]	沈学利, 田桂源, 姜彦吉, 马琳琳. 基于双阶段Conv-Transformer的时频域语音增强算法[J]. 计算机工程, 2023, 49(6): 123-130.
[10]	丁子轩, 俞雷, 张娟, 李想, 王新宇. 基于深度残差自适应注意力网络的图像超分辨率重建[J]. 计算机工程, 2023, 49(5): 231-238.
[11]	区展华, 李翠然, 杨茜. 基于ANN的能量采集无线传感器网络中继选择策略[J]. 计算机工程, 2023, 49(5): 215-222,230.
[12]	李静雯, 赵奎. 基于改进PCFG算法的口令猜测方法[J]. 计算机工程, 2023, 49(5): 38-47.
[13]	陈治旭, 靳雁霞, 芦烨, 杨晶, 刘亚变, 史志儒. 基于子图卷积神经网络的多精度服装建模方法[J]. 计算机工程, 2023, 49(4): 174-181.
[14]	安志国, 彭政, 易满成, 刘健欣, 俞思帆. 神经网络滤波器竞争训练[J]. 计算机工程, 2023, 49(4): 120-124.
[15]	徐康, 李霏, 姬东鸿. 结合依存图卷积与文本片段搜索的方面情感三元组抽取[J]. 计算机工程, 2023, 49(4): 61-67.

选择文件类型/文献管理软件名称

选择包含的内容