中文rdf知识库构建问题研究与应用软件工程专业论文.docxVIP

西南交通大学硕士学位论文主要工作(贡献)声明本人在学位论文中所做的主要工作或贡献如下： 西南交通大学硕士学位论文主要工作(贡献)声明 本人在学位论文中所做的主要工作或贡献如下： 1．研究了大规模网络百科数据采集技术，结合Spring MVC框架与Scrapy框架构 建了一个网络百科数据采集系统，能够满足大规模网络百科数据的采集需求。提出了 一种基于XPath表达式树的代理IP信息自动抽取算法，该方法自动抽取代理IP信息， 有效解决了网站的反爬取问题。 2．提出了利用RDFS语义信息对网络百科抽取数据进行语义标注及RDF数据规范 化的方法，设计并实现了一个基于NE04J的RDF数据图存储系统，与传统的关系型 数据库存储方式进行了比较，结果表明本文实现的存储系统能够满足大规模RDF数据 的存储与查询需求。 3．深入研究了基于中文网络百科异构数据源构建知识库过程中遇到的实体对齐问 题，提出了一种基于实体属性信息及上下文主题特征相结合进行实体对齐的方法，与 传统的实体对齐方法进行了比较，结果表明本论文提出的方法优于现有实体对齐方法， 能够有效解决具有上下文的实体对齐问题。 4．设计并实现了一个中文网络百科RDF知识库自动构建系统，该系统结合了网络 百科数据采集技术、实体信息RDF转化、存储与SPARQL查询技术以及异构数据源实 体对齐方法，能够通过配置采集任务，下载网络百科数据，进行实体数据抽取与RDF 转化与存储，自动构建中文RDF知识库，从而为外部应用提供实体检索与SPARQL查 询的功能。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均己在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名： 日期： 如尼年岁_|目乃因 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1页 摘要 互联网上的大数据给人类生活带来了丰富的信息，人们只需要通过关键字进行搜 索，就能获取到相关新闻、资料链接。然而，这种通过点击链接的方式使得人类在面 对持续增加的海量数据获取知识与信息时变得十分低效。目前互联网上的信息大多以 网页的形式进行存储与发布，通过超链接的形式将文档关联起来，这种方式使得人类 可以理解文档中的信息，而计算机却难以对文档中的信息进行理解。为了更好地利用 互联网产生的大数据资源，国外已有研究机构从英文维基百科中构建了知识库，如 FreeBase，DBPedia等。国内的知识库有百度知心、搜狗知立方及清华XLore等。知识 库在知识图谱、信息融合及人工智能问答等研究领域具有重要的应用价值。国外的知 识库如FreeBase等提供了公开的资源描述框架数据源，但包含的中文实体数据量较少， 如何构建高质量的中文RDF知识库成为目前的研究热点。 基于上述背景，本文对基于网络百科构建中文RDF知识库的方法进行了研究，并 在以下几个方面开展了工作： 1．深入研究了大规模网络百科数据采集技术，分析了数据采集中遇到的具体问题 与挑战，结合Spring MVC框架与Scrapy框架构建了一个网络百科数据采集系统，爬 取性能稳定且具有良好的人机交互界面。提出了一种代理IP信息自动抽取算法，该方 法能够有效抽取代理IP信息，并解决网站的反爬取问题。 2．研究了针对网络百科数据实体信息抽取技术，提出了利用RDFS语义信息对抽 取数据进行语义标注及RDF数据规范化的方法。研究了RDF数据的图数据库存储方 法，开发了基于NE04J的RDF数据图存储系统，与传统的关系型数据库存储方式进 行了比较，结果表明本文实现的存储系统能够满足大规模RDF数据的存储与查询需求。 3．深入研究了基于百度百科与互动百科异构数据源构建知识库过程中遇到的实体 对齐问题，提出了一种基于实体属性信息及上下文主题特征相结合进行实体对齐的方 法，与传统的实体对齐方法进行了比较，结果表明本论文提出的方法优于现有实体对 齐方法。 4．将大规模网络百科数据采集技术、实体信息RDF转化、存储与SPARQL查询 技术以及异构数据源实体对齐方法相结合，设计并实现了一个中文网络百科RDF知识 库自动构建系统，该系统能够通过配置采集任务，下载网络百科数据，进行实体数据 抽取与RDF转化与存储，从而为外部应用提供实体查询与SPARQL查询的功能。 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1I页 关键词：知识库；资源描述框架；网络采集；信息抽取；图数据库；主题特征； 实体对齐 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1