基于Hadoop的基础教育资源的存储和处理-计算机应用技术专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 签 名： 日 期： 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人承诺所提交的学位论文（含电子 学位论文）为答辩后经修改的最终定稿学位论文，并授权武汉理工 大学可以将本学位论文的全部内容编入有关数据库进行检索，可以 采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权 经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学 位论文，并向社会公众提供信息服务。 （保密的论文在解密后应遵守此规定） 研究生（签名）： 导师（签名）： 日期： 摘要 基础教育资源中蕴含了丰富的知识，研究如何从海量的基础教育资源中获 取丰富的语义信息，构建基础教育知识图谱，对扩展类人智能系统的知识库以 及提高其智能水平具有重要意义。为了构建基础教育知识图谱，需要有海量的 基础教育资源数据作为支撑，因此构建一个基础教育资源数据库是构建基础教 育知识图谱的基础和关键。本文依托于 863 项目《面向基础教育的类人智能知 识理解与推理关键技术》（2015AA015403）主要围绕基础教育资源数据的获取、 存储和处理这三个方面进行了研究，其主要工作如下： 1）构建了一个基础教育资源数据库。利用设计的基于 Scrapy 框架的简单分 布式网络爬虫从互联网上获取基础教育资源数据，并在 MapReduce 框架中对获 取的基础教育资源数据进行处理，最后将处理后的数据存入 HBase 数据库中， 构建一个基础教育资源数据库。 2）提出了适合基础教育资源在 HDFS 中的存储方案。基础教育资源具有小 文件特性且数量较多，不适合直接存储到 HDFS 中。本文提出了一种适合这些 资源小文件存储的存储方案，该方案首先将这些资源文件在内容上进行合并为 较大文件，然后使用 Sequence File 技术将这些较大文件存储到 HDFS 中。实验 结果表明，本文提出的存储方案有利于节省存储空间以及提高对这些基础教育 资源的处理效率。 3）改进了基于行块分布函数的网页正文提取算法。基于行块分布函数的网 页正文提取算法会错误地将网页中包含的链接块当作正文信息提取出来。针对 这个问题，本文对该算法进行了改进。在提取正文信息的过程中，增加了对标 点符号的个数和链接文本个数与总字符个数的比例这两个限制条件地判断，并 增加了对压缩型文件地处理。实验结果表明，改进后的算法能较好的解决错误 提取链接块的问题。 关键词：基础教育资源，小文件存储，行块分布函数 I Abstract Primary education resources contain a wealth of knowledge. It is important to extend humanoid intelligence system’s knowledge library and improve their intelligence level that obtaining rich semantic information from primary education resources and building knowledge mapping of primary education. In order to build knowledge mapping of primary education, it must have large amounts of data as a support. So it is the foundation and crucial that building a database of the primary education resources to build primary education knowledge mapping. This thesis is supported by the 863 project ＂ The key technologies of humanoid intelligent knowledge understanding and reasoning oriented to primary education ＂ (2015AA015403