基于字形结构的多粒度中文词嵌入研究.pdfVIP

摘 要 词的表示是自然语言处理中的基础任务之一，传统的词表示方法通常使用 基于向量空间的独热表示，该方法虽然简单有效但是存在数据稀疏、无法获取 词语之间的语义相关性等问题。随着深度神经网络在自然语言处理领域的兴起， 词嵌入模型逐渐成为词表示的主流方法。 与此同时，中文词嵌入模型的研究也逐渐受到学术界的重视。不同于以英 文为代表的表音文字系统，汉字是由象形文字演化而来的，汉字的各种字形结 构部件中蕴含着丰富的语义信息。现有的研究中显示，通过挖掘这些语义信息， 可有效提升中文词向量的质量。本文在当前的中文词嵌入模型的基础上，提出 了一种基于字形结构的多粒度中文词嵌入模型。本文的具体工作如下： 一、整理分析并介绍了词向量表示的历史发展和研究现状，以及现有模型 的具体方法和其优缺点； 二、提出了基于字形结构的多粒度中文词嵌入模型，基于词、字和字形结 构部件等多粒度进行联合学习，充分挖掘汉字的字形结构中所蕴含的语义信息， 通过使用双向长短期记忆网络和自注意力机制使得加入词嵌入中的信息在语义 上和词更为相关，并可避免将噪声加入至词嵌入中； 三、综合了多种评价方法对词向量进行了实验评估，将训练得到的词向量 应用于四种基础自然语言处理任务中进行实验以及定性分析，得到的实验结果 与现有的先进模型的实验结果进行对比并得出结论； 四、对在本文中提出的词向量模型的研究结果进行总结，并对中文词嵌入 方法的未来发展进行展望。 关键字：中文词嵌入；自然语言处理；双向长短期记忆网络；自注意力机制 I Abstract Word representation is one of the basic tasks in natural language processing, the traditional method of word representation usually uses the one-hot representation based on vector space. With the rise of deep neural network in the field of natural language processing, word embedding model has gradually become the mainstream method of word representation. At the same time, the research of Chinese word embedding model has been paid more and more attention. Different from the phonetic writing system represented by English, Chinese characters evolved from pictographs, and various glyph structure components in Chinese characters contain rich semantic information. Existing research shows that the quality of Chinese word vectors can be improved effectively by mining the semantic information. Based on the current Chinese