神经网络在数据挖掘中应用.pdf

神经网络在数据挖掘中的应用 摘 要：给出了数据挖掘方法的研究现状，通过分析当前一些数据挖掘方法的局限性，介绍一 种基于关系数据库的数据挖掘方法— — 神经网络方法，目前，在数据挖掘中最常用的神经网络 是BP网络。在本文最后，也提出了神经网络方法在数据挖掘中存在的一些问题． 关键词：BP算法；神经网络；数据挖掘 1.引言 在“数据爆炸但知识贫乏”的网络时代，人们希望能够对其进行更高层次的分析，以便更 好地利用这些数据。数据挖掘技术应运而生。并显示出强大的生命力。和传统的数据分析不同 的是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。所得到的信息具有先未知， 有效性和实用性三个特征。它是从大量数据中寻找其规律的技术，主要有数据准备、规律寻找 和规律表示三个步骤。数据准备是从各种数据源中选取和集成用于数据挖掘的数据；规律寻找 是用某种方法将数据中的规律找出来；规律表示是用尽可能符合用户习惯的方式(如可视化)将 找出的规律表示出来。数据挖掘在自身发展的过程中，吸收了数理统计、数据库和人工智能中 的大量技术。作为近年来来一门处理数据的新兴技术，数据挖掘的目标主要是为了帮助决策者 寻找数据间潜在的关联(Relation)，特征(Pattern)、趋势(Trend)等，发现被忽略的要素，对 预测未来和决策行为十分有用。 数据挖掘技术在商业方面应用较早，目前已经成为电子商务中的关键技术。并且由于数据 挖掘在开发信息资源方面的优越性，已逐步推广到保险、医疗、制造业和电信等各个行业的应 用。 数据挖掘 (Data Mining)是数据库中知识发现的核心，形成了一种全新的应用领域。数据挖 掘是从大量的、有噪声的、随机的数据中，识别有效的、新颖的、有潜在应用价值及完全可理 解模式的非凡过程。从而对科学研究、商业决策和企业管理提供帮助。 数据挖掘是一个高级的处理过程，它从数据集中识别出以模式来表示的知识。它的核心技术是 人工智能、机器学习、统计等，但一个DM系统不是多项技术的简单组合，而是一个完整的整体， 它还需要其它辅助技术的支持，才能完成数据采集、预处理、数据分析、结果表述这一系列的 高级处理过程。所谓高级处理过程是指一个多步骤的处理过程，多步骤之间相互影响、反复调 整，形成一种螺旋式上升过程。最后将分析结果呈现在用户面前。根据功能，整个DM系统可以 大致分为三级结构。 神经网络具有自适应和学习功能，网络不断检验预测结果与实际情况是否相符。把与实际 情况不符合的输入输出数据对作为新的样本，神经网络对新样本进行动态学习并动态改变网络 结构和参数，这样使网络适应环境或预测对象本身结构和参数的变化，从而使预测网络模型有 更强的适应性，从而得到更符合实际情况的知识和规则，辅助决策者进行更好地决策。而在ANN 的实现过程中，又往往需要大量的数据来产生充足的训练和测试样本模式集，以便有效地训练 和评估ANN的性能，这一点正好是建立在数据仓库和大型数据库上的数据挖掘工具所能提供的。 由于ANN和DM两者的优势互补，将神经网络用于数据挖掘具有现实意义和实用价值。 神经网络是模拟人脑内部结构，在模拟推理、自动学习等方面接近人脑的自组织和并行处 理的数学模型。其优点之一是，不依赖于对象，通过学习将输入、输出以权值的方式编码，把 它们联系起来。神经网络在数据挖掘中的优势是：噪声数据的强承受能力，对数据分类的高准 确性，以及可用各种算法进行规则提取。 因此，常常借助神经网络来进行数据挖掘。 2．数据挖掘 数据挖掘 (Data Mining)．又称数据库中的知识发现(Knowledge Discovery in Database．KDD)．是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应 用价值的信息或模式．它是数据库研究中的一个很有应用价值的新领域，融合了数据库、人工 智能、机器学习、统计学等多个领域的理论和技术。数据挖掘是进行数据查询．它能够找出过 去数据之间的潜在联系．从而促进信息的传递。数据挖掘工具能够对将来的趋势和行为进行预 测．从而很好地支持人们的决策。 2．1数据挖掘的发展 数据挖掘 (DM)的实质是一种发现知识的应用技术，是一个提取有用信息的过程。与数据挖 掘意义相近的术语有数据开采、知识抽取、信息收集和信息发现等，现在普遍采用的主要有数 据挖掘和数据库中的知识发现 (Knowledge Discovery in Database，KDD)。KDD一词最早出现在 1989年8月举行的第l1届国际联合人工智能学术会议上，它是指从数据库