基于Web条件下数据挖掘算法与数据仓库的接口设计与实现.docVIP

基于Web条件下数据挖掘算法与数据仓库的接口设计与实现 　　摘要：随着社会经济的快速发展，数据仓库和数据挖掘研究行业的发展也越来越快。现阶段，这方面的研究热点，也已经集中在对于数据库的分析技术方面，比如对数据仓库数据挖掘等方面。该文首先对数据仓库系统做了概述；而后，对数据挖掘进行了描述；最后，对基于Web的数据挖掘算法与数据仓库接口的设计与应用做了详细的概述。 中国论文网 /8/view-7221149.htm 　　关键词：数据挖掘；接口；算法；数据仓库 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）35-0003-02 　　随着科学技术的发展，基于Web的数据挖掘系统已经逐步实行了与计算机技术和数据挖掘技术的融合，可以利用浏览器对企业所存放的数据进行科学有效的分析，对企业当中的一些决策可以起到决定性的作用。但是，在数据挖掘系统中，需要在Web环境下对企业中的仓库数据进行挖掘并且输出结果。因此，需要在Web条件下，对数据挖掘算法和数据管理系统进行接口设计，以便于企业对数据进行更加方便的管理，以利于企业的发展。 　　1 数据仓库系统 　　现阶段，有许许多多的各种数据源，比如管理系统、文件系统等含有WEB数据的数据源，这些数据源在质量、种类上也有很多不同的特点和特性，这些因素是直接导致数据来源不统一的主要原因，造成了数据集成极大的不方便性。在数据模式的设计、数据的清晰、数据的转换以及导入更新等方面，也都存在着很大程度的难点。在数据清理方面，必须要准确地发现重复的数据并且判断出是否需要删除。在这个过程当中，数据源是多种多样的，也存在着很多的重复数据。与此同时，每个数据源的质量和录入的方式也是不同的。因此，就需要在数据录入的时候，将重复的数据一一找出并且进行删除处理，保证数据的可靠性。在这个过程当中，就需要用到一些高效的办法来对数据进行有效判断，对数据的层次以及语义进行判别认知。通常情况下，数据源当中的数据可以分为关系数据库、XML半结构化数据等，这些数据在访问方式、数据模式等方面都是不相同的。在数据装入数据库的时候，在保证数据不丢失的情况下，还要保证原本数据模式语义的一致性。我们就需要将数据转换成一种方便转换的统一形式，再把数据装入数据仓库中[1]。 　　2 数据挖掘 　　数据挖掘，可以称之为数据库中的知识发现，即从大量的数据当中筛查挖掘出有用的信息。数据挖掘的用途主要是用来从指定数据挖掘任务当中找出模式类型，数据的挖掘可以分为描述和预测两类。数据挖掘具有自动预测趋势以及行为、关联分析、聚类、概念描述以及偏差检测这五个功能[2]。 　　3 基于Web的数据挖掘算法和数据仓库接口的设计和应用 　　3.1 接口设计 　　基于Web的数据挖掘算法，是在挖掘算法集成大B/S机构的数据挖掘系统之后形成的一种数据挖掘算法。数据挖掘算法一般可以利用C/C++、Java以及Delphi等多种计算机语言来编写，每一种算法都可以实现各自的挖掘功能。在系统当中，算法需要在C#开发的NET平台下运行，但并不是所有算法都可以被C#调用。因此，就需要将系统当中的算法编译成独立的组件，多个组件就组成了一个算法库。用户在进行操作的时候，就可以根据用户需求从算法库当中选择相对应的算法组件。算法的输入数据可以分为两种来源，分别是ODBC/ADO获取到的数据库当中的数据和文件当中的数据。算法的输出方式也可以有两种。在基于Web的数据挖掘系统当中，挖掘数据来自于数据仓库，而算法是需要与数据仓库进行接口操作，才能实现挖掘功能的。 　　在图1的算法当中，算法库的输入接口有两个，分别是与Web服务器连接的输入接口和数据挖掘库的接口。在此算法当中，Web服务器可以调用指定的挖掘算法组件，调用的方式是通过接口向算法库传递。在算法库中，可以通过与数据挖掘库的接口处来向算法库传递输入的数据，此时的算法用ODBC/ADC和数据挖掘库进行连接，对数据库进行操作的时候则是利用SQL语句。其中的数据挖掘库则是在浏览器端的用户字段上来对数据仓库当中的数据进行有效的筛查选择。在算法库接收到输入的数据之后，需要进行相关的运行计算，最终的结果会返回到Web的服务器当中，之后通过浏览器再传递到用户的网页当中，再根据用户的选择来进行储存或者删除。 　　运用此种算法的优点是能够直接对数据库进行操作，操作更加方便快捷，可以实时获得相对应的数据，在整个操作的过程中不需要缓冲，这样就可以在最大程度上加快相应的速度，对较小的开销进行连续执行，达到改善性能的效果；并且接口的形式简单，数据库当中的数据更新是由数据库进行直接控制的；与此同时，Web的负荷也是相对较小的，系统的稳定性可以在很大程度上得到改善。但是，采用此种方式的算法对内存的要求也是相对较高的，当