数据挖掘方法与功能的基本研究.docVIP

数据挖掘方法与功能的基本研究 　　摘要：数据挖掘是集成了多方面技术的交叉学科。该文详细介绍了分析方法、决策树、粗糙集法、神经网络法、遗传算法、关联规则、数据可视化以及联机分析处理等众多研究方法；详细阐述了类/概念描述、分类和预测、关联分析、聚类分析和偏差分析等主要挖掘功能。 　　关键词：数据挖掘；方法；功能 　　中图分类号：TP311.13 文献标识码：A 文章编号：1009-3044（2018）14-0006-02 　　Abstract： Data mining is an interdisciplinary subject which integrates many technologies. This paper introduces numerous research techniques such as the analytic method， decision tree， rough sets method， neural network method， genetic algorithms， association rules，data visualization and online analysis processing in detail. The main mining functions such as class / concept description， classification and prediction， association analysis， clustering analysis and deviation analysis are also described in detail. 　　Key words： Data mining， Method， Function 　　1 数据挖掘（Data Mining）的简介 　　数据挖掘是集成了多方面技术的一门交叉学科，在数理统计、人工智能、知识工程等领域现有研究成果的基础上，构造自己的理论体系。数据挖掘的实质是发现知识、获取有价值的信息[1]，是知识发现（Knowledge Discovery in Database）的关键步骤。 　　2 数据挖掘的方法 　　（1）分析方法（Analytic Method） 　　数据挖掘的统计分析方法较多，如描述统计、概率论、回归分析、时间序列分析、多元分析等。 　　?y计分析方法是利用统计学、概率论的原理进行分析统计，从而找出相应规律的方法。回归分析是通过使用变量之间相互依存的定量关系来分析和预测的统计分析方法；时间序列分析是按照对象的规律或趋势建立时间序列模型，利用时间序列模型进行分析的方法。多元分析主要对主成分、因子、判别、聚类及典型相关等进行分析的方法，通常用于对多维随机变量进行分析。 　　（2）决策树（Decision Tree） 　　决策树是在情况发生概率已知的前提下，构建决策树来分析项目的概率，用树形结构图解评价是否可行的概率分析方法[2]。 　　在机器学习领域，决策树是能进行模型预测的监督学习方法。优点是逻辑上易于描述、理解和实现，数据准备要求低，易于通过测试来预测模型；缺点是不擅长处理连续性的数值，时顺数据的预处理工作较多，类别数据越多，导致正确率越低。 　　常见算法有经典的ID3算法、适用于连续属性的C4.5算法以及适用于大数据集C5.0算法。 　　（3）粗糙集法（Rough Sets Method） 　　粗糙集法即粗糙集理论，通常用来处理含糊、不精确、不完备的数据，能发现不确定数据或者噪声数据内在的相关联系，有时也能用于特征归约和相关分析。 　　粗糙集法的优点是简单、实用性高，应用广泛。因其对数据各方面的要求较低，因此，广泛应用于近似推理、数字逻辑分析和化简、建立预测模型等不确定、不完整的信息分类和获取问题；其缺点是难以直接处理连续的属性，必须先将连续属性离散化。 　　（4）神经网络法（Neural Network） 　　神经网络法是在神经心理学和认知科学基础上，使用训练数据进行训练，进而完成学习的一种非线性的预测模型。通过不断的网络学习，神经网络法能从未知模式的大量复杂数据中发现相应的规律和结果。其优点是具有抗干扰性，具有联想记忆功能，具有非线性学习功能及具有准确预测复杂情况的结果的功能；其缺点是缺少统计理论基础，导致解释性不强，因随机性较强导致应用范围不广泛，高维数值的处理需要较大的人力和时间。其适用于分类、聚类、特征挖掘等多方面的挖掘任务[3]。 　　（5）遗传算法（Genetic Algorithms） 　　遗传算法是通过对生物进化论及遗传学的自然选择、遗传、进化、变异等进行计算机模拟的搜索最优解的机器学习方法[4]。其优点主