基于word2vec 的一种文档向量表示 - 计算机科学.pdf

Vo l. 43 No.6 第 43 卷第6 期 计算机科学 2016 年 6 月 Computer Science June 2016 基于 Word2Vec 的一种文档向量表示 唐明朱磊邹显春 (西南大学计算机与信息科学学院 重庆 400715) 摘 要在文本分类中，如何运用 word2vec 词向量高效地表达一篇文档一直是一个难点。目前，将 word2vec 模型与 聚类算法结合形成的 doc2vec 模型能有效地表达文档信息。但是，这种方法很少考虑羊个词对整篇文档的影响力。 为了解决这个问题，手IJ 用 TF-IDF 算法计算每篇文档中词的权重，并结合 word2vec i司向量生成文档向量，最后将其应 用于中文文档分类。在搜狗中文语料库上的实验验证了新方法的有效性。 关键词 TF-IDF ,word2vec ,doc2vec ，文本分类 中圄法分类号 TP181 文献标识码 A DOI 10. 11896/j. issn. 1002-137X. 2016. 6. 043 Document Vector Representation ßased on Word2Vec T ANG Ming ZHU Lei ZOU Xian-chun CSchool of Computer and Information Science.Southwest University.Chongqing 400715 ,China) Abstract In text classification issues ,it is difficult to express a document efficiently by the word vector of word2vec. At present ,doc2vec built on the combination of word2vec and clustering algorithm can express the information of document very wel l. However ,this method rarely considers a single word s influence for the entire document. To solve this pro- bler丑， in this paper ,TF-IDF algorithm was used to calculate the right weight of words in documents , and word2vec was combined to generate document vectors ,which were used for Chinese text classification. Experiments on the Sogou Chi nese corpus laboratory demonstrate the efficiency of this newly proposed algorithm. Keywords TF-IDF ,Word2vec ,Doc2vec ,Text classification 的值为 0 ，但是我们知道土豆与马铃薯是同一种食物;4) 引言 词袋法很难区分同一个词在不同语境中的意义，如先生，根 目前，使用最广泛的文档表示方法几乎都基于词袋法