微博汇第五次.pptVIP

  1. 1、本文档共17页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
微博汇第五次

第五次汇报 汇报人:陈超 所看文章 主要思想:本文提出了一种短文本语义相似性计算算法ST-CW.此算法使用WordNet和Brown文集来计算文本中的概念相似性,在此基础上提出了一个新的方法综合考虑概念、句法等信息来计算短文本的语义相似性。 本文的主要内容 1.引言 1.1短文本分类的背景 短文本语义相似性计算是语义应用的基础,可以有效的提高信息搜索效率和准确性,在文本相关性判断、网页检索及分类、信息挖掘、以及摘要提取等应用领域扮演着越来越重要的角色,同时在短信、微博信息处理上有很好的应用前景 在相似性计算方面,目前已有一些针对长文本以及大文档的相似性计算方法,但是这些算法计算开销较大,对短文本的表达形式不完善,并且其中一些算法需要一定的背景知识和人工输入信息的辅助 2.WordNet及常见的文本语义相似方法 2.1知识库WordNet WordNet本体库是Princeton大学研发的在线的词汇参照系统.本文采用的WordNet V3.0,共有155287个独立的词形,117659个同义词集合,206941个词形一词义对。 2.WordNet及常见的文本语义相似方法 2.2常见的语义相似性算法 常用算法缺点: 第一,文本被表示成的高维空间,维度可能达到几百甚至是上千维,文本向量构成稀疏向量矩阵,计算效率较低,高维或是高度稀疏的向量会导致语义相似性计算的不可接受 第二,有的方法要求对相似性计算的句子进行复杂的人工预处理 第三,有些方法是领域相关的,局限性比较大,不能用于其他领域 针对上述缺点,本文提出了一种新的语义相似性计算方法ST-CW方法 3.ST-CW算法 3.1概念相似性的计算 SS-CW算法(Semantic Similarity Based on Corpus Statistics and WordNet)(基于语料库统计和WordNet的语义相似度)在使用主要考虑WordNet中概念之间的层次关系,并使用Brown文集中概念出现的频率来分配权重,实验结果证明了算法的有效性.因此本文采用此算法来计算短文本中概念的相似性 算法中概念间的相似性涉及到如下3个因子: ( 1) 知识库中两个概念在知识库中的最短路径长度 ( 2) 两个概念的重合度: 两个概念到根节点的路径中共享路径的比例 ( 3) 两个概念最小上层概念 LSO(Least Common Object) 的深度 3.ST-CW算法 3.2相似概念词序相似性计算 句法信息(Syntactic Information)即概念的顺序相似性对短文本的语义相似性有一定贡献,但比重不应该很大,一般要小于0.5. 一个具有m个概念的句子P与一个具有n个概念的句子R,经过预处理去掉停用词与标点符号后,表示为向量形式P={p1,p2,…pm},R={r1,r2,…rn}.利用SS-CW方法计算概念之间的相似性.概念之间的相似性匹配的阈值为0.85,如果两个句子中的某两个概念的相似性超过这个值,则认为这两个概念匹配,则将其从P和R中删除,同时把这两个概念分别加入列表X和Y,直到P、R中所有概念的相似性都小于指定阈值. 3.ST-CW算法 3.2相似概念词序相似性计算 将列表X、Y中概念的个数记为δ,将X、Y中的元素按照它们在P、R中出现的顺序分别排列.使用公式(1)计算顺序相似性.其中xi,yi表示相似概念在X,Y中的位置,n表示任意正整数. 3.ST-CW算法 3.2例子 P:Many consider Malin as the best player in Ping-Pong history. R:Malin is one of the best Ping-Pong players. 经过相似性计算后得到的相似概念序列为X={Malin,best,player,Ping-Pong},Y={Malin,best,Ping-Pong,player},代入公式中可得,顺序相 似性的值为0.75. 3.ST-CW算法 3.3 ST-CW算法流程 在计算短文本相似性时,两个短文本中的概念被分为3组,分别是匹配的概念、类似的概念和无关的概念. 匹配的概念:是指含义基本一致的概念,相似性0.85. 类似概念:的相似程度要小于匹配的概念. 无关的概念:是文本中除去匹配概念和类似概念后的概念.它们的相似程度最低 两个短文本的相似性由它们的匹配概念和类似概念决定 3.ST-CW算法 算法的流程图 短文本预处理 分词 去停用词 去特殊符号 词根的还原 SS-CW算法计算相似性 计算匹配顺序相似度S0 得出相似矩阵M 计算类似顺序相似度S1 计算文本

文档评论(0)

fangsheke66 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档