基于OLAM可视化数据挖掘系统结构研究.docVIP

基于OLAM的可视化数据挖掘系统结构研究 刘绪崇 雷卫军 邓苏 2003-11-10 10:55:02 一、引言 一旦选定任务后，挖掘过程就自动地完成，不需要用户过多的参与，是一种“暗箱”操作，因而其挖掘出的结果是否正确得不到保证。(对于非专业人员来说挖掘出的结果信息复杂难以理解；(随着数据量的递增和数据信息的复杂化和多元化，传统的数据挖掘系统至少有两大弊病： 如果将挖掘出的中间结果或最终结果以人们容易理解的图形、图表等直观的表现方式来表示，即用可视化的数据挖掘技术可以解决第一种情况，能大大地加深用户对挖掘结果的理解。 对于第二种情况，如果让用户参与到数据挖掘过程中，通过设置参数来控制挖掘进度和质量，能够加深用户对复杂数据信息的理解，从而保证数据结果的正确性。OLAP(在线分析处理)和DM(数据挖掘)都是建立在数据仓库上的分析工具，在具体的应用中各有侧重：OLAP分析虽然可给用户提供在不同角度、不同抽象级别的视图，但是由于事先对用户需求的了解可能不十分全面深入，视图中缺乏所应包含的维度，从不同的视图得到的结果可能并不相同，容易产生错误引导，因此用户需要做大量的工作才能得出正确的结果，但是仍然可能遗漏数据间重要的模式和联系，因此很难发现数据中隐含的深层次的信息；而DM能够发现隐藏在数据间的有用的信息，但在选定挖掘算法和任务后，就自动执行。因而，OLAP和DM这两种工具本身就具有互补性，这为它们的结合OLAM((On-Line Analytical Mining)提供可能，只有这样，在决策分析中它们才能发挥更好的作用。 针对上述两种情况，提出了基于OLAM的可视化数据挖掘系统，它结合了可视化、数据挖掘和OLAM技术。在该系统中，OLAP与DM做到了真正地有机结合，用户参与到整个挖掘过程中，彻底改变以前“黑箱”挖掘的局面。 二、系统的总体要求 一个基于OLAM的可视化挖掘系统应是一个集数据探究和浏览于一身，且共享数据展现部件的系统，真正地做到OLAP与DM的有机结合，从而提高了数据挖掘的质量。它与一般的数据挖掘系统不同，利用OLAM模型沿着多个维进行挖掘，并以智能的方式与用户进行交互，可以在多维数据库的不同部位和不同的抽象级别交互地执行挖掘，最终以直观的形式输出结果。主要有以下优点： ○ 联机选择数据挖掘功能。对用户来说，常常不知道挖掘什么样的知识，但通过该系统中的数据挖掘引擎，用户可以灵活选择所需的数据功能，并动态交换数据挖掘任务。 ○ 交互式探索性的数据分析。用户常希望灵活地遍历数据库，选择任一部分的相关数据，在不同的抽象级别上分析，并以不同的形式表示出来。 ○ 增加可视化工具包。通常，数据挖掘系统挖掘出的知识，比较复杂，不直观且难以理解。对用户来说，却总是希望以直观的、容易理解的图形方式表示挖掘出的知识。 ○ 可以在任何粒度上都进行挖掘。由于OLAP操作能对数据立方体进行切片、切块、钻取等操作，而OLAM是建立在OLAP和多维数据库基础之上，因而能方便地对用户想要的任何一部分数据或不同抽象级别的数据进行挖掘。 三、系统原型结构 充分地考虑基于OLAM可视化数据挖掘系统的联机性、交互性和可视化展现，并结合普通数据挖掘系统的具体实现，基于OLAM可视化数据挖掘系统的模型结构如图1所示。 图1 基于OLAM可视化数据挖掘系统的模型结构 在图1中，数据库或数据仓库是数据挖掘的数据源，存放着各种各样的数据，既有历史数据，也有实时数据，这些数据复杂难以理解，可能存在大量的冗余。为了便于以后各步骤易于操作，需要对数据仓库中的数据进行清洗、集成和筛选，构成数据立方体，元数据主要用于指导对数据立方体的存取和查询。从图1可知，该数据挖掘系统主要由数据挖掘部件、数据转换部件、过滤部件和展现部件组成，下面将分别讨论。 3.1 数据挖掘部件 数据挖掘部件主要由OLAP引擎、OLAM引擎和用户图形接口三部分组成，完成对数据立方体的分析挖掘过程，并将挖掘出的信息输出到挖掘结果文件中保存，作为可视化展现的数据源。 (1) OLAP引擎：是数据挖掘部件中一个重要的部件，其主要任务是计算用户的OLAP指令、对数据立方体中的数据进行快速分析处理和及时通过用户接口将分析出的信息返回给用户。它具有快速响应性、可分析性、多维性和信息性等特点。OLAP除了具有钻取、切片、旋转等操作以外，还有创建数据立方体的能力。 (2) OLAM引擎：OLAM引擎是建立在OLAP技术基础之上的，是在OLAP技术中加入了数据挖掘过程。借助于OLAP对数据立方体进行切片、切块和钻取操作，OLAM可以直接访问存储在底层数据库里的数据，能对任何它想要的数据进行挖掘。OLAM引擎在数据立方体上执行的分析挖掘与OLAP引擎执行的在线分析处理的方式是相同的，但它可以执行多项数据挖掘任务，如概念