关联规则算法分析与其在铁路隧道安全管理中的应用.pdfVIP

的数据作一些简单的查询及统计工作，而并没有挖掘出这些数据中潜藏的病害规 律。铁路部门每年都投入大量的人力、物力和资金用于隧道病害的维修和整治，但 隧道的状况仍然没有根本好转。 因此，需要通过系统的分析，总结铁路隧道的病害特点[21，及通过大量隧道缺 陷数据来找到这些存在于铁路隧道中的病害数据之间隐藏着的一些微妙的关系， 为铁路隧道的日常维护、病害检测、病害整治提供强有力的决策支持。数据挖掘 的关联规则方法就是帮助我们达到这个目的的有力工具。 1．2数据挖掘的内涵、过程和方法 1．2．1数据挖掘的内涵 所谓数据挖掘(Data Mining)，就是从大量的、不完全的、有噪声的、模糊的、 随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有 用的信息和知识的过程。这个定义包括好几层含义；数据源必须是真实的、大量 的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可 运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 什么是知识?从广义上理解，概念、规则、模式、规律和约束等都是知识， 而数据可以看作是形成知识的源泉。数据可以是结构化的，如关系数据库中的数 据，也可以是半结构化的，如文本、图形和图像数据。发现知识的方法可以是数 学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被 用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。 因此，数据挖掘是-N交叉学科，它把人们对数据的应用从低层次的简单查询， 提升到从数据中挖掘知识，提供决策。 与传统分析方法(如查询、联机应用分析)相比，数据挖掘是在没有明确假 设的前提下挖掘信息、发现知识。数据挖掘所得到的信息应具有事先未知、有效 和可实用三个特征【1|。数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至 是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。 在商业应用中，数据挖掘是一种新的信息处理技术，其主要特点是对商业数 据库中的大量业务数据进行抽取、转换、分析和模型化处理，从中提取辅助商业 2 决策的关键性数据。因此，数据挖掘可以描述为：按企业既定业务目标，对大量 的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一 步模型化的先进有效的方法。 图1数据挖掘与其他学科之间的关系 Chart 1 The bf=tvveendata andother relationship mining disciplines 1．2．2数据挖掘的过程 数据挖掘的过程包括如下步骤： (1)数据定义和理解：通过使用或创建元数据，定义了解相关领域的有关情况， 熟悉背景知识，弄清用户要求，这是创建数据仓库和数据质量改进程序的第一个 步骤。 (2)数据质量的改进：即执行任何必需的数据清理工作。 (3)数据准备：数据准备是数据挖掘的重要组成部分，对前一段产生的数据进 行再加工，检查数据的完整性及一致性，其中主要是对噪音数据进行处理，对丢 失的数据进行填补。 (4)数据挖掘模型开发：选择知识发现的方法，确定模型。 (5)数据挖掘：运用确定的数据挖掘模型，从数据中提取出用户所需要的知识， 3 这些知识可以用一种特定的方式表示或使用一些常用的表示方式。 (6)知识评估：包含解释、外攉及模型调整。将发现的知识以用户能理解的方 式表示，根据需要对知识发现过程中的某些处理阶段进行优化，直至满足要求。 图2KDD过程 Chart2 The of／fmD process 1．2．3数据挖掘的方法 我们面对的是大量的隐藏在数据内部的有用信息。如何获取信息是我们所要 解决的问题，数据挖掘从一个新的角度把数据库技术、机器学习、统计学等领域 结合起来，从更深层次发掘存在于数据内部新颖、有效、具有潜在效用的乃至最 终可理解的模式。具