科学数据网格中数据挖掘技术研究-计算机系统结构专业毕业论文.docx

摘要网格计算的出现使得大规模跨组织、跨区域的数据共享和协同工作成为可能。在科 摘要 网格计算的出现使得大规模跨组织、跨区域的数据共享和协同工作成为可能。在科 学研究领域中，现代科学研究的问题空前复杂化，产生了一种崭新的科研协作模式和大 科学工程，即“科学研究的信息化”。这就需要以网格为基础，通过Intemet联合组成一 个共同的虚拟研究团队，共享资源和成果，协同工作，共同完成大型现代科学研究。本 文的工作以科学数据网格和科学数据库为背景，致力于在现有海量数据存储和强大计算 能力的基础上，通过数据挖掘技术来迸一步提升其服务水平。本文的主要研究内容和创 新成果包括： (1)科学数据网格环境下的科学数据挖掘系统 本文在分析科学数据网格环境下数据挖掘之特点的基础上，提出了网格环境下的数 掘挖掘解决方案——科学数据挖掘系统。该系统主要由三部分构成：科学数据挖掘系统 结构描述了数据挖掘程序中基于多维模型的三层结构；科学数据挖掘工具集提供了大量 的数据预处理算法和数据挖掘算法：科学数据挖掘网格服务以网格服务的形式提供了科 学数据网格环境下的数据挖掘解决方案。与传统的数据挖掘系统相比，科学数据挖掘系 统具有诸多优异的特点，更为适合科学数据网格和科学数据库环境。目前，科学数据挖 掘系统已经实际应用于几个数据库中。该系统不仅具有简单的查询检索功能，而且可以 进行数据统计分析及知识发现，从而能够进一步提高了数据库提供服务的水平。 (2)基于聚类的量化关联规则挖掘算法 聚类分析技术是一个把相似的对象分在相同簇、相异对象分在不同簇的分组过程。 被发现的簇可以用来解释数据分布的特点。本文提出了～种新颖的量化关联规则挖掘方 法，可以解决现有基于布尔型关联规则的挖掘算法不能直接处理类别型和数值型数据的 问题。这种方法使用聚类算法把数据库中的交易记录分成若干个簇，然后把簇投影到数 值型属性所在的域，形成重叠、有意义的区间。实验结果表明这种方法能够有效地挖掘 量化关联规则，并且能够发现现有算法可能遗漏的重要规则。 (3)基于过滤器的用户访问模式挖掘 针对传统用户访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性，本文 提出了一个基于过滤器的用户访问模式挖掘系统，给出了日志过滤器的实现和部署机制， 并在此基础上提出了相应的用户访问模式挖掘算法。该系统目前已实际应用于科学数据 库系统中，能够准确地识别用户和会话。为挖掘算法提供优质的数据，效果明显优于以 前直接挖掘Web同志的方法。 关键词：科学数据网格；科学数据挖掘系统：网格服务：多维模型；数据预处理：量化 关联规则；聚类；分类：序列模式；过滤器：访问模式 Research Research on Data Mining in the Scientific Data Grid Qiang Tong(ComputerArchitecture) Directed By Baoping Yan With the emergence and development of面d computing，it becomes possible to share data and collaborate in a large scale model of cross-organization and cross-legion．In the area of scientific research，the problem of modern scientific research becomes mole and more complex，which results in a brand·new scientific collaboration model and the large science project，i．e．，the infomationization ofscientific research(e-Science)．In order to share resources and products，and also collaborate to accomplish large scale modem scientific researches，it is necessary to establish all allied virtual research group via the Intemet based on卯d computing． By using data mining technologies，this paper aims to improve the service level of the Scientific Data Grid and the Scientific Database，ba