基于神经网络的数据挖掘方法.ppt

* * * * * * * * * * * * * * * * * * * * * 基于神经网络的数据挖掘方法 0 引言 1 数据挖掘技术 2 神经网络原理 3 基于神经网络的数据挖掘 4 结论 * 0 引言 现代信息技术的高速发展，数据库应用的规模、范围不断扩大，可获得的数据量越来越大，数据的种类也日益繁多。 面对如此大规模的、并且存在着“噪声”的数据，如何从中提取出隐含其中的有意义的、对决策有用的信息或知识，进一步提高信息利用率，成为“信息时代”亟待解决的一个问题。 * 0 引言 20世纪90年代出现的数据挖掘技术受到不同领域研究学者的极大关注，尽管对数据挖掘的研究与应用还只处于初级阶段，但是它的应用前景早已被各方面专家学者看好。 Garter Group在1997年的一份报告中指出：数据挖掘技术将在未来的三到五年内成为对全球影响最的一个关键技术领域。 * 1 数据挖掘技术 数据挖掘的含义： 数据挖掘，又称数据库中的知识发现，就是从大量数据中获取有效、新颖、潜在有用、最终可理解的模式的非平凡过程。 简单地说，数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。 这些知识是是隐含的，事先未知的潜在的有用的信息。 * 1 数据挖掘技术 数据挖掘的主要功能： ①分类：按照对象的属性、特征，建立不同的组类来描述事物。 ②聚类：识别出分析对象内在的规则，按照这些规则把对象分成若干类。 * 1 数据挖掘技术 数据挖掘的主要功能： ③关联规则和序列模式：关联是某种事物发生时其他事物会发生的这样一种联系。 ④预测：把握分析对象发展的规律，对未来的趋势做出预见。 ⑤偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。 * 1 数据挖掘技术 数据挖掘的处理过程： 数据挖掘的过程主要分为5个部分： ①问题的定义 ②数据准备 ③数据整理 ④建立模型 ⑤评价和解释 * 1 数据挖掘技术 数据挖掘的处理过程： * 1 数据挖掘技术 现行的数据挖掘方法： 统计方法、关联发现、聚类分析、分类与回归和决策树、联机分析处理(OLAP)、查询工具、主管信息系统(EIS)等。 这些方法帮助分析包含在数据仓库中的数据，它们的共同特点是问题驱动的。 用户必须提出许多问题，才能得到包含在复杂关系中的结果，当提不出问题或提出的问题不正确时，将得不到正确的数据。 * 2 神经网络原理 神经网络是由大量并行分布式处理单元组成的简单处理单元。 它有通过调整连接强度而从经验知识进行学习的能力并可将这些知识进行运算。 是模拟人脑的一种技术系统。 * 3 基于神经网络的数据挖掘 基于神经网络的数据挖掘由以下二个阶段组成： 网络构造、训练和剪枝 规则提取与评估 * 3 基于神经网络的数据挖掘 网络构造、训练和剪枝： 这个阶段需要选择拟采用的网络模型，选择或设计一种网络训练算法。 训练后的网络可能有些臃肿，剪枝就是在不影响网络准确性的前提下，将网络中冗余的连接和结点去掉。没有冗余结点和连接的网络产生的模式更精练和更易于理解。 * 3 基于神经网络的数据挖掘 规则提取和评估： 这一阶段从进化后产生的相对简单的网络中提取分类规则。 规则提取目的就是从网络中提取规则，并转换为某种易理解的形式表达出来，如决策树、模糊逻辑等方法。 再利用测试样本对规则的可靠性进行测试与评估，最后输出有用知识。 * 3 基于神经网络的数据挖掘 适合神经网络的数据挖掘问题： 分类是数据挖掘的一个主要问题。 单层感知器的线性可分能力早已证明，但是对于非线性可分问题单层网络是无能为力的。 可通过加入中间层，引入转换函数，将非分线性可分的问题映射后变为线性可分。 一个多层的神经网络具有非常强的分类能力，并且分类误差率较低。 * 3 基于神经网络的数据挖掘 适合神经网络的数据挖掘问题： 时序预测是依据当前已知的数据来预测将来未知数据的状态。 神经网络固有的输人输出映射特性，特别适合用来建立预测模型。 不管是线性问题还是非线性问题，只要输入输出间存在连续映射关系，就可以用一个多层神经网络以任意精度来逼近之。 * 3 基于神经网络的数据挖掘 适合神经网络的数据挖掘问题： 聚类是无监督学习过程，它依据数据间的相似度将数据集划分为不同的簇。目的是概观数据的全貌，了解数据点的分布情况以及可能存在的问题。 * 4 结论 神经网络的优点： ①非用户驱动，用户参与少，挖掘层次深。 ②处理变量较多，能处理定性变量，复杂、动态数据，发现的事实或规则是以描述和可视性为主要目的。 ③分布记忆性和快速的计算能力。 * 4 结论 神经网络的不足： ①非数值型数据的处理：量化此类数据往往凭人们主观经验而定，如果不能按实际情况进行量化，将影响挖掘结果。 ②数据质量：由于某些数