微博汇第五次.pptVIP

第五次汇报 汇报人：陈超 所看文章 主要思想：本文提出了一种短文本语义相似性计算算法ST-CW.此算法使用WordNet和Brown文集来计算文本中的概念相似性,在此基础上提出了一个新的方法综合考虑概念、句法等信息来计算短文本的语义相似性。 本文的主要内容 1.引言 1.1短文本分类的背景 短文本语义相似性计算是语义应用的基础,可以有效的提高信息搜索效率和准确性,在文本相关性判断、网页检索及分类、信息挖掘、以及摘要提取等应用领域扮演着越来越重要的角色,同时在短信、微博信息处理上有很好的应用前景 在相似性计算方面,目前已有一些针对长文本以及大文档的相似性计算方法,但是这些算法计算开销较大,对短文本的表达形式不完善,并且其中一些算法需要一定的背景知识和人工输入信息的辅助 2.WordNet及常见的文本语义相似方法 2.1知识库WordNet WordNet本体库是Princeton大学研发的在线的词汇参照系统.本文采用的WordNet V3.0,共有155287个独立的词形,117659个同义词集合,206941个词形一词义对。 2.WordNet及常见的文本语义相似方法 2.2常见的语义相似性算法 常用算法缺点： 第一,文本被表示成的高维空间,维度可能达到几百甚至是上千维，文本向量构成稀疏向量矩阵,计算效率较低,高维或是高度稀疏的向量会导致语义相似性计算的不可接受 第二,有的方法要求对相似性计算的句子进行复杂的人工预处理 第三,有些方法是领域相关的,局限性比较大,不能用于其他领域 针对上述缺点,本文提出了一种新的语义相似性计算方法ST-CW方法 3.ST-CW算法 3.1概念相似性的计算 SS-CW算法（Semantic Similarity Based on Corpus Statistics and WordNet）(基于语料库统计和WordNet的语义相似度)在使用主要考虑WordNet中概念之间的层次关系,并使用Brown文集中概念出现的频率来分配权重,实验结果证明了算法的有效性.因此本文采用此算法来计算短文本中概念的相似性 算法中概念间的相似性涉及到如下3个因子： ( 1) 知识库中两个概念在知识库中的最短路径长度 ( 2) 两个概念的重合度: 两个概念到根节点的路径中共享路径的比例 ( 3) 两个概念最小上层概念 LSO(Least Common Object) 的深度 3.ST-CW算法 3.2相似概念词序相似性计算 句法信息(Syntactic Information)即概念的顺序相似性对短文本的语义相似性有一定贡献,但比重不应该很大,一般要小于0.5. 一个具有m个概念的句子P与一个具有n个概念的句子R,经过预处理去掉停用词与标点符号后,表示为向量形式P={p1,p2,…pm},R={r1,r2,…rn}.利用SS-CW方法计算概念之间的相似性.概念之间的相似性匹配的阈值为0.85,如果两个句子中的某两个概念的相似性超过这个值,则认为这两个概念匹配,则将其从P和R中删除,同时把这两个概念分别加入列表X和Y,直到P、R中所有概念的相似性都小于指定阈值. 3.ST-CW算法 3.2相似概念词序相似性计算 将列表X、Y中概念的个数记为δ,将X、Y中的元素按照它们在P、R中出现的顺序分别排列.使用公式(1)计算顺序相似性.其中xi,yi表示相似概念在X,Y中的位置,n表示任意正整数. 3.ST-CW算法 3.2例子 P:Many consider Malin as the best player in Ping-Pong history. R:Malin is one of the best Ping-Pong players. 经过相似性计算后得到的相似概念序列为X={Malin,best,player,Ping-Pong},Y={Malin,best,Ping-Pong,player},代入公式中可得,顺序相 似性的值为0.75. 3.ST-CW算法 3.3 ST-CW算法流程 在计算短文本相似性时,两个短文本中的概念被分为3组,分别是匹配的概念、类似的概念和无关的概念. 匹配的概念:是指含义基本一致的概念,相似性0.85. 类似概念:的相似程度要小于匹配的概念. 无关的概念:是文本中除去匹配概念和类似概念后的概念.它们的相似程度最低 两个短文本的相似性由它们的匹配概念和类似概念决定 3.ST-CW算法 算法的流程图 短文本预处理 分词 去停用词 去特殊符号 词根的还原 SS-CW算法计算相似性 计算匹配顺序相似度S0 得出相似矩阵M 计算类似顺序相似度S1 计算文本