短文本指纹的研究-计算机软件与理论专业论文.docxVIP

短文本指纹的研究-计算机软件与理论专业论文.docx

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
短文本指纹的研究-计算机软件与理论专业论文

南 京 邮 电 大 学 硕士学位论文摘要 学科、专业:工学 计算机软件与理论 研 究 方 向:数据仓库与决策支持系统 作 者: 2009 级 研究生 赵小谦 指 导 教 师:郑 彦 教授 题 目:短文本指纹的研究 英 文 题 目:Research on The Fingerprint of Short Texts 主 题 词:短文本指纹,领域词典,ICTCLAS 分词,特征提取, 语义相似度 Keywords: the fingerprint of short text,domain dictionary, ICTCLA word segmentation,feature extraction,Semantic similarity 南京邮电大学硕士研究生学位论文 摘 要 摘 要 21 世纪信息技术的飞速发展,带动了全球信息网络化革命的迅猛发展。全球信息网络 的普及与共享给人们的日常生活带来了不小的便捷。除此以外,以因特网为主体的信息高速 公路已经渗透到社会生活的各个领域,为人类提供了信息共享和交流的现代化通道。 移动通信网络发出的手机短消息、即时通信软件发出的即时消息、在线聊天室的聊天记 录、博客评论、新闻评论、BBS 标题等都产生了数以万计的文本,这些文本长度较短,具有 广泛的外延,我们称其为短文本。 短文本指纹作为验证短文本的唯一标识,在短文本研究领域中起到举足轻重的作用。只 有内容相同的短文本才具有完全相同的指纹值,同理,具有相同指纹值的短文本,我们可以 认为这两个短文本的内容是相同的。一旦建立起指纹值和短文本之间的一一对应关系以后, 我们就可以利用短文本指纹进行一系列的数据挖掘工作,例如聚类,去重,去冗余等。 本课题首先受到 Hownet 和 Wordnet 的启发,着重分析概念之间联系关系。通过比较 JSON 格式和 XML 格式的优劣,提出用 JSON 格式构建概念词典的可行性,并给出了构建概念词典 的算法。为使该词典具有高效的检索效率,我们设计了概念编码和索引结构达到一致对应的 索引表,使概念得到高效的归结。其次,采用了 ICTCLAS 分词技术,使短文本逐步化简为 一个个有效的分词。其中比较重要的一点是,我们对一些特殊的情况做了一定的处理,例如 对数字、时间、日期、叠词进行拆分和合并,使调整优化后的分词结果具有比较高的准确率。 再次,众所周知,特征值是指定领域中最为核心和本质的概念。受此启发,我们给出了特征 值的定义和具体的抽取特征值的办法。在特征值提取的基础上,我们提出了短文本指纹的概 念和具体的短文本指纹编码过程,即 STF(Short Text Fingerprint)方法。最后,通过介绍 实验环境以及主要功能模块之间的关系来分析 STF 方法对研究短文本相似度的可行性,并且 和现有的 4 种短文本相似度计算方法进行比较,验证了 STF 能够有效的分析出短文本的唯一 性,提高后期短文本挖掘工作的准确性和有效性。 关键词:短文本指纹,领域词典,ICTCLAS 分词技术,特征提取,相似度计算 Abstract The rapid development of information technology in 21 century, lead to the global information revolution .The popularization and sharing of the global information network bring a lot of convenient to people’s daily life.Besides this,Internet as the main body of the information highway has penetrated into every field of the society,which provides mankind with information sharing and communication of the modern channel. Mobile phone short messages,instant messages,Internet relay chat logs,blog comments ,news comments , BBS titles and so on all produce tens of thousands of texts.which have short length,broad extension .This texts are called short texts.Fingerprint of

您可能关注的文档

文档评论(0)

peili2018 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档