文本相似性检索调研概况概要1.docx

文本相似性检索调研 一、相似性检索调研 从查看的资料来看，文本相似性检索大致有几个阶段，1）分词等文档处理阶段2）特征提取3）相似度计算。 P2P环境下的文本检索综述 本文属于综述，没有具体的操作方法。主要是加入一层语义覆盖网以及如何构建。 一些研究者提出了语义覆盖网(Semantic Overlay Networks SONS)的概念，即在P2P网络之上构建了一个语义层，也就是预先定义好一个层次结构的主题分类，然后根据结点包含内容与主题的相关程度将结点聚类，收到查询消息后，检索主题找到相应的结点。 基于SONS的研究已经有很多，方法1定义一个树状的主题层次结构和一些主结点和从结点，主结点的信息映射到主题层次结构中并维护从结点的连接信息；方法2将网络中的结点划分成不同的区域(Zone，在域内根据文档的相似度将结点聚类，并选出一个中心结点作为区域的代表，然后将不同的区域合并形成一个语义覆盖网；方法3运用潜在语义索引(Latent Semantic Indexing, LSI方法将文档映射到一个语义逻辑层，然后通过支持向量机(Support Vector Machine, SVM)模型进行训练，将结点划分到不同的语义覆盖网内；方法4利用结点的请求和应答的历史记录构建语义覆盖网，经常为某一查询提供解答的结点被认为具有相似的内容，将被划为同一类别；（我们有没有可能做）方法5通过对邻居结点的语义相似度、信任程度、重合度和连接频率等指标的统计进行邻居结点的排序，排序靠前的结点划为同一类别，构建语义覆盖网。 基于HNC句子分析 这篇主要是句子分析，HNC是一种新的语言表示方法。 HNC (hierarchical network of concepts，概念层次网络)理论是一个关于自然语言理解处理的理论体系，以概念联想脉络为主线，由中国科学院声学研究生黄曾阳先生创立。 基于HNC语义块的句子相似度计算（本文采用）——把句子的类型划分为作用句、过程句、转移句、效应句、关系句、状态句和判断句七大句类，每个句子是由四种主语义块和七种辅语义块构成的，根据HNC理论进行句子的表示和相似度计算。HNC有自己的一套表示和计算方式，可以分析同义词，例如，句子A：题目是对的。句子B：题目是不错的。两个句子相似度HNC计算为1。 下图是一个语义块识别，可以直接生成HNC方式的表示。 简单举例：句子A张三吃了李四的番茄。 句子B张三把李四的西红柿吃了。 本文所作的句子相似度研究的背景是主观题自动批阅系统，在主观题自动批阅中句子相似度是一个关键的理论基础。句子相似度在主观题自动批阅系统中的应用主要体现在：老师的参考答案和学生回答的答案之间的相似度计算，从而得到学生的得分，结果显示能够比较好的理解句子的内部语义。 目前对句子语义相似度计算的方法主要有：基于相同词汇的句子相似度计算方法；基于相似词语的句子相似度计算方法（基于各种词典，区别词性）；基于词形和词序的方法计算句子相似度（当一个分句或短语整体发生长距离移动后，仍与原来的句子很相似）；基于向量空间模型的TF-IDF句子相似度计算方法（使用较多且效果较好）。 3. 基于LDA主题模型的文本相似度计算 该方法利用LDA模型对文本集进行建模，即利用文本的统计特性，将文本语料库映射到各个主题空间，挖掘隐藏在文本内的不同主题与词之间的关系，得到文本的主题概率分布，通过此分布来计算主题的相似度（本文采用JS距离）。 在文木相似度计算方面，利用LDA建立了文木主题空间，增强了文木的向量表示，大大缩小了文档的维度，加快了计算速度。LDA的结果与选取的主题个数有关，本文3200篇文章，当主题数为250最好。 LDA多用于主题聚类、文本分类，以及主题词联想扩展等。 LDA基于这样一种前提假设:文档是由若干个隐含主题构，而这些主题是由文木中若干个特定词汇构成，忽略文档中构成的句法结构和词语出现的先后顺序。 4. 基于潜在语义分析的文本检索算法研究 潜在语义分析(Latent Semantic Analysis LSA)是一种通过分析大量的文本集，自动生成关键字一概念(语义)之间映射规则的方法。 这篇文本用向量空间模型进行文本表示，再应用潜在语义索引模型进行奇异值分解，把文本表示在低维潜在语义空间中，对大容量文本进行非相关性排除（LSA有一个投影计算公式，阈值以下认为不相关），之后以查询文本与检索文本之间的相似度作为适应度函数值（本文中采用余弦距离，距离越小越好，使用这些距离之和最小作为适应度函数，或者迭代到一定次数即停止），利用遗传算法检索，按相似度排序后输出检索结果。 结果显示，比传统没有潜在语义分析的方法有明显提高。468篇文本，F值提高了大约20%。 还有其他潜在语义分析的文章，如基于潜在语义索引的中文