科研文献核心文本的自然语言处理分析-计算机技术专业毕业论文.docxVIP

Natural Natural Language Processing Aiming to the Core Texts of Scientific Literature By SHAO Ji Mei Under the Supervision of ZHANG Jing Xiang A Thesis Submitted to the University of Jinan In Partial Fulfillment of the Requirements For the Degree of Master of Engineering University of Jinan Jinan，Shandong，P．R．China May,2014 原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得 的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或 撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式 标明。本人完全意识到本声明的法律责任由本人承担。 论文作者签名：碌魏整蒡＼ 日 期： 加／竹f·洲 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同意学校保留或向国家有 关部门或机构送交论文的复印件和电子版，允许论文被查阅和借鉴；本人授权济南大学 可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其 他复制手段保存论文和汇编本学位论文。 、日≤鼻 口保密(——年，解密后应遵守此规定) 论文作者签名：刀≯铭垂灸导师签名：孑云溺‘亍日期：加f红f·≥笋 济南大学硕士学位论文目 济南大学硕士学位论文 目 录 第一章绪论 ．．1 1．1研究背景 ．1 1．2课题的研究意义及发展现状 1 1．3主要研究内容 4 1．4论文的篇章结构 ．5 1．5本章小结 ．5 第二章科研文献的结构分析 7 2．1科研文献的概念及特点 ．7 2．1．1科研文献的基本概念 ．7 2．1．2科研文献的主要特点 ．7 2．2科研文献的结构 ．7 2．3科研文献的信息分布 8 2．4本章小结 ．8 第三章相关技术介绍 9 3．1 Web爬取 ．．9 3．1．1 Web爬取分类与策略 ．9 3．1．2 Web爬取的原理与技术 ．．9 3．2 Web信息抽取技术 ．．10 3．2．1 HTML页面解析 ．．10 3．2．2 Web信息抽取技术 ．．12 3．2．3 Web信息抽取评价方法 ．15 3．3聚类过程 15 3．3．1特征选择与加权 ．16 3．3．2相似度计算 ．．18 3．3．3聚类算法分析 19 3．4本章小结 2l 第四章科研文献网页的采集模块技术实现 ．．23 4．1任务提交端设计 24 科研文献核心文本的自然语言处理4．2服务器端设计 科研文献核心文本的自然语言处理 4．2服务器端设计 ．．25 4．3客户端设计 ．26 4．4爬取后的数据保存 ．27 4．5本章小结 29 第五章科研文献网页关键信息提取模块技术实现 ．．31 5．1 Web信息抽取流程 ．．31 5．2 Web信息抽取模型 ．．32 5．2．1文献核心数据提取 ．．33 5．2．2文献信息提取界面设计 ．35 5．3信息抽取结果 ．．37 5．4本章小结 38 第六章科研文献统计分析模块设计 ．．39 6．1文本信息处理 ．．39 6．2特征选择与加权 39 6．3相似度计算 ．43 6．4聚类算法与结果 45 6．5本章小结 47 第七章总结与展望 ．．49 7．1全文总结 49 7．2下一步工作计划 50 7．3心得体会 50 参考文献 ．．51 致谢 ．．55 附录 ．57 II 济南大学硕士学位论文摘要 济南大学硕士学位论文 摘要 当今，互联网技术发展的越来越迅速，各种信息层出不穷，如何能够在众多信息中 提取出所需要的信息越来越成为大家关注的热点问题。学者们进行学术交流的形式不仅 仅局限在书面形式上，更多的学术信息通过网络以网页的形式进行散播，关于学术研究 的专业数据库应运而生。从信息量巨大的数据库中得到用户想要的信息十分的困难，对 于文献资料的深层次处理，知识的再发现，有些还需要人为手动的去操作，这给科研人 员带来了极大的不便。针对上述问题，本文展开了对科研文献的自然语言处理的研究。 科研文献反映了人们的科技水平、科学研究与发现，代表了人们在一定时期的知识 水平，体现了专业领域的发展特点，是研究人员获取知识的必不可少的资源。根据科研 人员的不同需求，对科研文献进行相关的信息抽取，得到更加有意义的数据，这对于科 研学者的学术研究帮助很大。 本文研究了