Word2vec的核心架构及其应用.pdfVIP

第 15卷第 1期 南京师范大学学报 (工程技术版) VoI_15NO．1 2015年 3月 JOURNALOFNANJINGNORMALUNIVERSITY(ENGINEERINGANDTECHNOLOGYEDITION) Mar，2015 Word2vec的核心架构及其应用 熊富林 ，邓怡豪 ，唐晓晟 (1．北京邮电大学信息与通信工程学院，北京 100876) (2．北京邮电大学 wTI实验室，北京 100876) [摘要] 神经网络概率语言模型是一种新兴的自然语言处理算法，该模型通过学习训练语料获得词向量和概 率密度函数 ，词向量是多维实数向量，向量中包含了自然语言中的语义和语法关系，词向量之间余弦距离的大小 代表了词语之间关系的远近，词向量的加减代数运算则是计算机在 “遣词造句”．近年来，神经网络概率语言模 型发展迅速 ，Word2vec是最新技术理论的合集．首先，重点介绍 Word2vec的核心架构 CBOW及Skip-gram；接着， 使用英文语料训练Word2vec模型，对比两种架构的异同；最后，探讨了Word2vec模型在中文语料处理中的应用． [关键词] 自然语言处理 ，Word2vecCBOW Skip-rgam，中文语言处理 [中图分类号]TP391．1 [文献标志码]A [文章编号]1672-1292(2015)O1—0043—06 TheArchitectureofW ord2vecand ItsApplications XiongFulin ，DengYihao ，TangXiaosheng (1．SchoolofInformationandCommunicationEngineering，BeijingUniversityofPostsandTelecommunications，Beijing100876，China) (2．WirelessTechnologyInnovation，BeijingUniversityofPostsandTelecommunications，Beijing100876，China) Abstract：Word2vecisacombinationofneuralprobabilisticlanguagemodel，which includesCBOW modeland Skip· rgam modelintermsofarchitecture．ThispaperwillintroducethetechnologyofWord2vec．Firstly，thepaperwillelabo— ratethetheoryofWord2vecarchitecture；secondly，anEnglishcorpuswhichisextractedfrom Wikipediawillbeusedto trainthemodel，andasetofresultswillbeshown；lastly，theapplicationofWord2vecinthelanguageofChinesewillbe explored，aresultwillalsobepresentedprecisely． Keywords：NPL，Word2veeCBOW Skip—rgma ，Chinese—lanugage·processing 统计语言模型的一般形式是给定已知的一组词，求解下一个词的条件概率，具体如下式所示： r ()=兀 (WI．『)， (1) t=1 其中，W 是第 t个词， 为上文词序列：