结合汉明距离及语义的文本相似度量方法研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 Dissertation Submitted to Hangzhou Dianzi University for the Degree of Master the Research about Text Similarity Measuring through Hamming-distance and Semantics Candidate: Bao Qian Supervisor: Prof. Huweihua March，2016 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人 或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密论文 在解密后遵守此规定） 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州电子科技大学硕士学位论文 杭州电子科技大学硕士学位论文 摘要 当今人类越来越重的网络依赖性令网络数据的规模呈现出爆炸性增长的趋 势，文字作为重要载体，其相关的文本信息处理技术得到越来越多的关注。文本 相似度量作为该技术的关键部分，其准确率直接影响文本信息处理的结果。 目前文本相似度量方法的主流之一是利用向量空间模型(VSM)中向量关系 来反应文本之间的相似程度，其概念简单、可计算性强。但该方法涉及到高维稀 疏矩阵的处理，计算复杂度高，另外，它忽略语义信息对文本的影响。另有一种 基于语义的相似度算法可克服此缺点。但需要特定领域的知识库支持，其建立过 程的繁杂性，使此类算法理论多过实践。 借鉴此二类算法，本文提出一种新方法(HSim)。该方法结合第一类方法中空 间模型的优势，以及第二类方法中语义信息的优势，最后利用汉明距离来计算文 本相似度，从而避开了对高维稀疏矩阵的直接处理。该方法一方面利用汉明距离 克服第一类方法中高维稀疏矩阵低计算效率的缺点；另一方面，VSM 模型与汉 明距离的结合，使 HSim 直接利用语义词典作为参照，克服了第二类方法中特定 领域知识库建立过程繁杂的缺点。 实验利用训练语料以 F 度量与其他文本相似度量方法进行聚类比较。实验结 果表明 HSim 方法较其他方法性能更为优越的同时，也存在一些适用性的不足。 针对这些不足，本文针对算法步骤中的两次映射以及最后计算的输入集进行优化 改进，并进行新的实验，实验结果表明改进的方法在适用性上有很大的提高。 关键字：文本相似度、向量空间模型、语义、汉明距离、映射 I ABSTRACT Nowadays, humanity’s increasing dependence on network makes network data scale demonstrate a trend of explosive growth. The text is an important carrier, thus its relevant text information processing technology has received more and more attention. As a key part of the technology, text-similarity measure’s accuracy directly affects the results of text information processing. Currently, one of the main methods of text-similarity measure is to use the relationship between the vectors in vector space model (VSM) to reflect the degree of similarity between texts. The concept is simple and it has a strong computability. However, this method involv