计算机工程

• 人工智能及识别技术 • 上一篇    下一篇

主题联合词向量模型

吴旭康 1,2,杨旭光 3,陈园园 3,王营冠 1,张阅川 3   

  1. (1.中国科学院上海微系统与信息技术研究所,上海 200050;2.上海科技大学 信息科学与技术学院,上海 201210; 3.上海物联网有限公司,上海 200018)
  • 收稿日期:2016-12-30 出版日期:2018-02-15 发布日期:2018-02-15
  • 作者简介:吴旭康(1992—),男,硕士,主研方向为自然语言处理;杨旭光,博士;陈园园,工程师、硕士;王营冠,研究员、博士;张阅川,硕士。
  • 基金项目:
    上海市自然科学基金“阵元互耦条件下基于空域稀疏的阵列测向方法研究”(15ZR1439800);上海市科技创新行动计划项目(15DZ1100400,16511105300)。

Topic Combined Word Vector Model

WU Xukang  1,2,YANG Xuguang  3,CHEN Yuanyuan  3,WANG Yingguan  1,ZHANG Yuechuan  3   

  1. (1.Shanghai Institute of Microsystem and Information Technology,Chinese Academy of Sciences,Shanghai 200050,China; 2.School of Information Science and Technology,ShanghaiTech University,Shanghai 201210,China; 3.Shanghai Internet of Things,Co.,Ltd.,Shanghai 200018,China)
  • Received:2016-12-30 Online:2018-02-15 Published:2018-02-15

摘要: 当前大部分的词向量模型针对一个单词只能生成一个向量,由于单词的多义性,使用同一个向量表达不同语境下的同一个单词是不准确的。对此,提出一种新的词向量模型。使用潜狄利克雷特分布和神经网络对单词进行训练,得到单词及其主题的向量,并对两者进行线性变换得到最终的词向量。实验结果表明,该模型的准确度高于现有多向量模型。

关键词: 自然语言处理, 词向量, 主题模型, 神经网络, 哈夫曼树

Abstract: Currently,most word vector models can build only one vector for a single word.Due to word’s polysemy,it is incorrect to use one vector representing a same word under different context.This paper proposes a new word vector model.It uses latent dirichlet distribution and neural networks to train words to obtain word vectors and corresponding topic vectors.And then it applies linear transformations on them to build the final word vectors.Experimental results show that the accuracy of proposed model is high compared with current multi-vector models.

Key words: natural language processing, word vector, topic model, neural network, Haffman tree

中图分类号: