数据仓库在车辆检测系统中应用方法研究.docVIP

数据仓库在车辆检测系统中应用方法研究 　　摘要：通过一个实例介绍如何建立一个数据仓库的体系结构，提出了一个数据分析系统模型，以及数据仓库的构建与设计过程，用联机分析处理和数据挖掘的方法对数据进行分析处理。 　　关键词：数据仓库　体系结构　联机分析处理　数据挖掘 　　 　　0　引言 　　 　　汽车已进入千家万户，交通管理部门成立了车辆检测站对车辆的动力性、经济性、可靠性、以及尾气排放状况等整车性能进行检测。历年来对每辆车的检测情况积累了大量的信息，但是，交通管理部门及各维修企业对于这些数据的利用还只是停留在简单的业务查询、实时状态显示、报表生成等方面，对数据进行多角度的统计分析，挖掘隐藏在数据背后的有用信息的功能还欠缺，本文就如何在车辆检测系统中建立数据仓库，有效应用数据挖掘技术，方便准确地从大量的、规格各异的企业数据中提取、组织和整合出新的有价值的、易于利用的信息进行探讨。 　　 　　1　车辆检测管理系统数据仓库体系结构 　　 　　本文将车辆检测管理系统数据仓库系统分为以下四个层次： 　　 　　1.1数据源的类型可能是各种类型的数据库、文本或是其他二进制数据：数据源的位置也可能是分散分布的。在数据的传送过程中可能发生错误，降低ETL专用工具的效率。所以设置一个数据采集层，用于检查数据包的迟传、丢包和重传。数据采集将传送正确的数据置入临时存储区，将错误的数据置入错误数据区。 　　 　　1.2 ETL过程是数据抽取、转换、清洗、装载的过程中是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型。将数据加载到数据仓库中去。 　　 　　 　　1.3当数据集市数量增多时很容易形成“蜘蛛网”现象，而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中，注意了元数据管理，在集成到数据仓库中时就会比较顺利。相反，如果在建设数据集市的过程中忽视了元数据管理，那么最后的集成过程就会很困难，甚至不可能实现。 　　 　　1.4在应用层，各个应用子系统或模块则根据需要从数据仓库中获取所需数据并进行相关处理。可以生成报表，进行OLAP分析或是进行数据挖掘分析。 　　为了保证系统的正常运转还要进行系统管理。系统调度模块控制报表生成、ETL过程、数据采集以及数据挖掘过程的有序执行：安全管理提供对系统访问权限、加密等处理：系统监测包括对CPU、内存、I／O通道、网络等硬件以及各个软件子系统的运行进行监测告警：系统管理员通过日志管理模块对系统运行产生日志的查看、分析。 　　 　　2　数据仓库设计 　　 　　在车辆检测管理系统数据仓库设计过程中，我们采用一种通用的三层数据建模方式，即概念模型设计，逻辑模型设计和物理模型设计。概念模型设计提供了对车辆检测公司的一个整体概括性描述，针对公司与用户联系的接触点，收集公司需求；逻辑数据建模层面向车辆信息数据仓库界定范围的全局及其应用；物理数据设计使用物理限制，如空间、特性和数据的物理分布，目的是设计实际的物理装载。根据以上的模型设计原则和目标，可以提出一个完整的车辆信息数据仓库数据模型规范化方法控。 　　 　　3　数据分析 　　 　　数据分析包括OLAP分析和数据挖掘两部分，OLAP多维数据分析是指对多维数据采取切片、切块、钻取、旋转等各种分析操作，以求剖析数据。使最终用户能从多角度、多侧面观察数据库中的数据，从而深入了解包含在数据中的信息、内涵。数据仓库系统一般都支持OLAP的基本操作，也可以认为是一种扩展了的SQL操作。 　　一般来说，数据挖掘(Data Mining―DM)是一个利用各种分析方法和分析工具在大规模海量数据中建立模型和发现数据间关系的过程，这些模型和关系可以用来做出决策和预测。关键的技术主要有关联分析、决策树、聚类分析、人工神经网络分析方法。下面用关联规则对车辆检测系统的数据进行挖掘： 　　数据挖掘的数据来源是数据仓库中维修企业送检车辆主题中的数据。而在建立数据仓库过程中，数据的ETL过程已经对来自维修企业车辆维修保养系统的数据进行了一系列数据选择、数据集成和其它必要的数据处理过程。所以，从数据仓库直接提取挖掘数据，省去了许多数据处理过程。 　　利用SQL Server 2000中提供的数据转换服务DTS，从数据仓库的维修企业送检车辆事实表、各检测项目维度表、检测日期维度表、各检测项目收费维度表中提取与数据挖掘有关的数据，关联规则的任务是从给定一个事务集D中求出所有满足指定的最小支持度和置信度的关联规则。本文中，从车辆检测管理系统数据仓库提取的维修企业送检车辆数据形成了事务集；其中维修企业送检车辆的每一条记录就是一个事务。 　　如上文关联规则概念中所说。对维修企业送检车辆分析数据表而