- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
短文本指纹的研究-计算机软件与理论专业论文
南 京 邮 电 大 学
硕士学位论文摘要
学科、专业:工学 计算机软件与理论 研 究 方 向:数据仓库与决策支持系统
作 者: 2009 级 研究生 赵小谦 指 导 教 师:郑 彦 教授
题 目:短文本指纹的研究
英 文 题 目:Research on The Fingerprint of Short Texts
主 题 词:短文本指纹,领域词典,ICTCLAS 分词,特征提取, 语义相似度
Keywords: the fingerprint of short text,domain dictionary, ICTCLA word segmentation,feature extraction,Semantic similarity
南京邮电大学硕士研究生学位论文 摘 要
摘 要
21 世纪信息技术的飞速发展,带动了全球信息网络化革命的迅猛发展。全球信息网络 的普及与共享给人们的日常生活带来了不小的便捷。除此以外,以因特网为主体的信息高速 公路已经渗透到社会生活的各个领域,为人类提供了信息共享和交流的现代化通道。
移动通信网络发出的手机短消息、即时通信软件发出的即时消息、在线聊天室的聊天记 录、博客评论、新闻评论、BBS 标题等都产生了数以万计的文本,这些文本长度较短,具有 广泛的外延,我们称其为短文本。
短文本指纹作为验证短文本的唯一标识,在短文本研究领域中起到举足轻重的作用。只 有内容相同的短文本才具有完全相同的指纹值,同理,具有相同指纹值的短文本,我们可以 认为这两个短文本的内容是相同的。一旦建立起指纹值和短文本之间的一一对应关系以后, 我们就可以利用短文本指纹进行一系列的数据挖掘工作,例如聚类,去重,去冗余等。
本课题首先受到 Hownet 和 Wordnet 的启发,着重分析概念之间联系关系。通过比较 JSON 格式和 XML 格式的优劣,提出用 JSON 格式构建概念词典的可行性,并给出了构建概念词典 的算法。为使该词典具有高效的检索效率,我们设计了概念编码和索引结构达到一致对应的 索引表,使概念得到高效的归结。其次,采用了 ICTCLAS 分词技术,使短文本逐步化简为 一个个有效的分词。其中比较重要的一点是,我们对一些特殊的情况做了一定的处理,例如 对数字、时间、日期、叠词进行拆分和合并,使调整优化后的分词结果具有比较高的准确率。 再次,众所周知,特征值是指定领域中最为核心和本质的概念。受此启发,我们给出了特征 值的定义和具体的抽取特征值的办法。在特征值提取的基础上,我们提出了短文本指纹的概 念和具体的短文本指纹编码过程,即 STF(Short Text Fingerprint)方法。最后,通过介绍 实验环境以及主要功能模块之间的关系来分析 STF 方法对研究短文本相似度的可行性,并且 和现有的 4 种短文本相似度计算方法进行比较,验证了 STF 能够有效的分析出短文本的唯一 性,提高后期短文本挖掘工作的准确性和有效性。
关键词:短文本指纹,领域词典,ICTCLAS 分词技术,特征提取,相似度计算
Abstract
The rapid development of information technology in 21 century, lead to the global information revolution .The popularization and sharing of the global information network bring a lot of convenient to people’s daily life.Besides this,Internet as the main body of the information highway has penetrated into every field of the society,which provides mankind with information sharing and communication of the modern channel.
Mobile phone short messages,instant messages,Internet relay chat logs,blog comments ,news comments , BBS titles and so on all produce tens of thousands of texts.which have short length,broad extension .This texts are called short texts.Fingerprint of
您可能关注的文档
- 断路器用智能脱扣器的设计电子与通信工程专业论文.docx
- 杜仲叶中活性成分的积累规律及其提取物的制备-中药学专业论文.docx
- 杜仲叶、栀子提取物制备分析及其减肥调脂作用机制初探-药理学专业论文.docx
- 杜仲叶中绿原酸的提取及酶处理研究-发酵工程专业论文.docx
- 杜仲叶抗氧化活性成分研究及桃叶珊瑚甙的制备-林产化学加工工程专业论文.docx
- 杜仲叶提取物及其单体槲皮素、(+)-丁香脂素抑制BMSCs成脂分化研究-外科学(骨外)专业论文.docx
- 杜仲叶渣栽培平菇及制备有机肥料和生物肥料研究-林产化学加工工程专业论文.docx
- 杜仲叶提取物槲皮素通过激活ERK磷酸化促进BMSC增殖的研究-外科学(骨外)专业论文.docx
- 杜仲叶黄酮苷元制备、与蛋白相互作用及免疫活性研究-林业工程专业论文.docx
- 杜仲抗骨质疏松药效物质基础及机制研究-药剂学专业论文.docx
- 短指软珊瑚Sinulariaacuta化学成分及生物活性研究-药物化学专业论文.docx
- 短时和快速傅里叶变换用于动态活动下表面肌电频谱分析的比较研究-劳动卫生与环境卫生专业论文.docx
- 短时交通流量预测算法研究-计算机科学与技术专业论文.docx
- 短时常规体外受精及补救性卵胞浆内单精子注射胚胎染色体非整倍体分析-妇产科学专业论文.docx
- 短时间低氧处理对创面愈合的影响及其机制研究-外科学(烧伤)专业论文.docx
- 短时高温热激对西花蓟马种群影响及其分子响应机制-农业昆虫与害虫防治专业论文.docx
- 短暂T波交替检测技术研究-信号与信息处理专业论文.docx
- 短暂性脑缺血发作71例临床分析-内科学(神经内科学)专业论文.docx
- 短暂性脑缺血发作和小卒中患者静脉溶栓的有效性和安全性研究-临床医学专业论文.docx
- 短暂性脑缺血发作患者脑动脉狭窄特点的分析-外科学专业论文.docx
文档评论(0)