Web信息挖掘服务平台及数据备份技术研究-计算机科学与技术专业论文.docxVIP

Classified Index: TP391.2 U.D.C: 681.37 Dissertation for the Master Degree in Engineering RESEARCH ON WEB MINING SERVICE PLATFORM AND DATA BACKUP TECHNOLOGY Candidate： He Xiaochun Supervisor： Prof. Zhao Tiejun Academic Degree Applied for： Master of Engineering Specialty： Computer Technology Affiliation: School of Computer Science and Technology Date of Defence： June, 2012 Degree-Conferring-Institution： Harbin Institute of Technology 摘 摘 要 - - I - 摘 要 随着 Internet 的快速发展，互联网上的信息越来越丰富，面对爆炸性增长的信 息，我们需要采取新的技术手段来管理和挖掘互联网信息。一个好的系统平台是 提供优良的信息挖掘服务的基础，为此我们的研究集中在以下几个方面： （1）Web 信息挖掘服务平台的架构设计； （2）信息挖掘服务的功能点设计； （3）平台关键数据的容灾功能。 基于上述 3 点，本文所做的工作描述如下： （1）提出了应用于 Web 信息挖掘服务平台的架构设计。本文基于 J2EE 轻量 级框架设计的思想，使用软件工程中的 MVC 分层模型，对系统的各个模块进行划 分，实现了以 Solr 为基础的高效 Web 信息挖掘系统。该系统为信息挖掘服务提供 了一个良好的运行环境，在服务稳定性、响应速度和吞吐率方面都能很好地满足 实际应用需求。同时，在二次开发中系统具有很高的可扩展性。 （2）针对 Web 信息挖掘的实际需要，研究了基于元信息判别的网页自动分类 方法，该算法充分利用网页的元信息，结合传统的分类算法，快速准确的对网页 进行分类；提出了一种基于元信息加权的相似度计算方法，实现精确的相关网页 推荐服务；采用基于相关词典的查询扩展技术，达到向用户进行信息推送的效果。 有关实验表明，本文提出的方法在实现 Web 信息挖掘服务方面均达到了实际可用 的效果。 （3）研究典型的数据备份及恢复技术，针对实际需求，为了保证整个系统数 据的完整性和可用性，本文使用了冗余备份技术来实现数据容灾，其中，采用基 于增量异步复制技术实现全文索引库备份；采用基于日志回放技术实现热点数据 备份和恢复。在 Web 信息挖掘服务平台上的实际运行，达到了不错的效果。 （4）研究了基于 JQuery 组件实现信息的可视化功能，初步完成了前端分类效 果的树状图展示、信息自动聚类的饼形图展示以及热点信息的折线图展示功能。 关键词：信息挖掘；系统架构；信息服务；数据容灾；信息可视化 Ab Abstract - - II - Abstract With the rapid development of Internet technology, the information on the Internet is more and more abundant. To deal with the massive information, it is necessary to adopt new technique to mine and manage Internet information. An effective system is the basis of providing user-friendly information mining service. For this requirement, our research mainly focuses on the following aspects: Design of the framework of web information mining platform Functional Design of web information mining service Disaster Recovery for the key data of the platform Concerning about the above-mentioned three key-points, we have done the follow works. We proposed the design of platform for web information m