数据挖掘概念技术.docVIP

数据挖掘概念与技术 一. 什么是数据挖掘，数据挖掘的知识体系及应用范围 1. 定义： 又称数据中的知识发现，从大量的数据中挖掘有趣模式和知识的过程。 知识发现的过程： ? 1). 数据清理： 除噪声和删除不一致数据 ? 2). 数据集成： 多种数据源的组合 ? 3). 数据选择： 取和分析与任务相关的数据 ? 4). 数据变换： 数据变换和统一成适合挖掘的形式 ? 5). 数据挖掘： 使用智能方法提取数据格式 ? 6). 模式评估： 识别代表知识的有趣模式 ? 7). 知识表示： 使用可视化和知识表示技术，向用户提供挖掘的知识 2. 为什么要进行数据挖掘 ???? 未来将是大数据时代，IDC（国际数据公司）研究报告指出2012年全球信息资料量为2.8ZB（2的40次方GB）,而在2020年预计会达到40ZB，平均每人拥有5247GB的数据。庞大的数据量背后隐藏着巨大的潜在价值，人们手握巨量的数据却没有很好的手段去充分挖掘其中的价值，因此对数据挖掘的研究可以帮助我们将数据转化成知识。3. 数据挖掘的知识体系 ??? 数据挖掘作为一个应用驱动的领域，吸纳了许多应用领域的技术，包括： 统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。数据挖掘的任务分类： 描述性任务： 刻画目标数据的一般性质 预测性任务： 归纳及做出预测数据挖掘功能： 1). 数据特