基于应用数理统计的计算机数据挖掘中应用.docVIP

基于应用数理统计的计算机数据挖掘中应用 摘 要： 本文是介绍一种基于应用数理统计的在计算机数据挖掘中的应用方法，并提出统计模型和对模型进行分析与求解，并根据统计模型的的求解结果进行分析，从中提取有用的信息，以此达到数据挖掘。 Abstract ：This article is based on an application of mathematical statistics in computer applications in data mining methods and statistical model and the model for analysis and solution, according to the statistical model for the results of the analysis, from the extraction of useful information in order to achieve Data Mining 关键字：数据挖掘 DataMining 聚类 线性回归分析 Keyword: data mining DataMining cluster linear regression analysis 一 前 言 数据挖掘(DataMining)可以理解成计算机的一个方面,它是从我们所拥有的大量的数据中找出有用信息的一种技术。众所周知,分析、处理数据的传统学科是统计学。统计学的方法应该可以被利用来处理这些数据,问题是我们所面临的这些海量数据并不满足统计学的概率模型。如何成功地对这样的数据进行分析,对今后的信息处理技术具有重大的意义,这就是近年来发展起来并倍受关注。 二 问题的引入 社会各个方面都对数据库进行了广泛的应用，所以都积累了大量的数据，这些数据的内在联系可能就是有价值的知识，运用数据仓库技术，发现并提取这些知识，成了各个企业的首先的任务。 数据挖掘就是从大量的数据中提取隐含的、未知的、对决策有潜在价值的知识和规则的过程，它的主要技术包括聚类，粗糙集，关联规则、统计分析、神经网络、模糊数学等。 数理统计学是一门关于数据资料的收集、整理、分析和推理的科学，在时下的数据挖掘热潮中，数理统计方法是最有效而且最实际的方法 如何从大量的计算机计算和检测到的数据中挖掘出最由价值的信息（数据），并且对数据进行分析与分类，最后建立出回归方程，以此了解整个整个数据的变化与规律。 三 统计模型以及分析 3.1 数据挖掘的过程  图一：数据仓库流程 在这五个步骤中，模式化是数据挖掘的核心，用的最广泛又最为经典的模式化方法当数数理统计分析，一般情况下，在数据库或数据仓库字段之间存在两种关系：函数关系（能用函数公式表示的确定关系）和相关关系（不能用函数公式表示，但仍是相关确定关系），对它们可进行回归分析、相关分析、主成分分析。 3.2 数据挖掘模型的建立 为了分析数据仓库中的数据关联性，需进行多元线性回归分析和利用相关系数表进行特征值与特征向量分析，以确定主成分： 从数据仓库中抽取随机变量y及m个自变量x0,x1，．．．,xm-1,给定n但观测数据（x0i,x1i，．．．，xm-1,i,yi）(i=0,1,…,n-1),用线性表达式： ，其中a,b是线性回归系数，对线性回归方程进行逐步回归分析. 四 数据模型求解 4.1 最小二乘法原理 ?如果把用回归方程 计算得到的 i值(i=1,2,…n)称为回归值，那么实际测量值yi与回归值 i之间存在着偏差，我们把这种偏差称为残差，记为ei(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线 是在所有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 由式，并考虑上述条件，则 称为正规方程组。解这一方程组可得 ?? 其中 ? ?? ?式中，Lxy称为xy的协方差之和，Lxx称为x的平方差之和。 如果改写(2-1-1)式，可得 ?? ?或 ? ?由此可见，回归直线是通过点 的，