智能信息技术基础-13数据挖掘.pptVIP

智能数据挖掘技术Intelligent Data Mining Technique 封筠 Email：fengjun7171@ :6621/ User: Student.feng 08-05 Outline 一、数据挖掘技术简介 二、智能关联规则挖掘 三、大规模数据聚类分析 一、数据挖掘技术简介 1、数据挖掘定义 2、典型数据挖掘系统 3、数据挖掘分类 4、面临的问题 5、研究现状 1、数据挖掘定义 随着数据库技术的应用越来越普及，人们正逐步陷入“数据丰富、知识贫乏”的尴尬境地。知识信息的“爆炸”给人类带来莫大益处，但也带来不少弊端，造成知识信息的“污染”。面临浩瀚无际而被污染的数据，人们呼唤从数据汪洋中来一个去粗存精、去伪存真的技术。 1、数据挖掘定义 如何理解已有的历史数据并用以预测未来的行为，如何从这些海量数据中发现信息，变被动的数据为主动的知识，如何快速、正确地获得有价值的网络信息和网络服务，为用户提供重要的、未知的信息或知识，指导政府决策、企业决策，获取更大的经济效益和社会效益，这些都迫使人们去寻找新的、更为有效的数据分析手段，对各种“数据矿藏”进行有效的挖掘以发挥其应用潜能。1980’S后期至今，高级数据分析——数据挖掘（Data Mining，DM）与数据库中的知识发现（Knowledge Discovery in Database，KDD）正是在这样的应用需求背景下产生并迅速发展起来的、开发信息资源的一套科学方法、算法及软件工具和环境。 1、数据挖掘定义 数据挖掘就是指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的，但又是潜在有用的，目标明确的、针对性强、精练准确的信息和知识的过程。 1、数据挖掘定义 DM是一个交叉学科领域，涉及数据库技术、人工智能、模式识别、机器学习、统计学、可视化等领域。DM中主要采用的技术有神经网络、模糊理论、粗糙集理论、知识表示、归纳逻辑和高性能计算等。依赖所挖掘的数据类型或给定的DM应用， DM系统也可能集成空间数据分析、信息检索、模式识别、图像分析、信号处理、计算机图形学、Web技术、数据可视化及经济、商业、生物信息学或心理学等领域的核心技术。 如何将不同领域的理论、技术等进行融合将是下一阶段的研究中心。 2、典型数据挖掘系统 DM是KDD的一个重要步骤。典型的KDD过程： 数据清理：消除噪声或不一致的数据。 数据集成：将多种数据组合在一起。 数据选择：从数据库中检索与分析任务相关的数据。 数据变换：将数据变换或统一成适合挖掘的形式，如通过汇总或聚集操作。 数据挖掘：使用不同的智能方法提取数据模式或模型。 模式（型）评估：根据某种兴趣度度量，识别表示知识的真正有趣的模式。 知识表示：使用可视化和知识表示技术，向用户提供所挖掘的知识。 2、典型数据挖掘系统 2、典型数据挖掘系统 广义观点：DM是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。典型的DM系统组成： 数据库、数据仓库或其他信息库：一个或一组数据库、数据仓库、电子表格或其他类型的信息库。可以在此数据集上进行数据清理和集成。 数据库或数据仓库服务器：根据用户的数据挖掘请求，数据库或数据仓库服务器负责提取相关数据。 知识库：存放领域知识，用于指导搜索，或评价结果模式的兴趣度。这种知识可能包括概念分层及用户确信度方面的知识。 2、典型数据挖掘系统 数据挖掘引擎：数据挖掘的基本组成部分，由一组功能模块组成，用于特征化、关联、分类、聚类分析以及演变或偏差分析。 模式评估模块：通常使用兴趣度来测试，并与数据挖掘模块交互，以便将搜索聚焦在有趣的模式上。可以使用兴趣度阈值过滤所发现的模式。模式评估模块也可以与挖掘模块集成在一起，其不同在于所用的数据挖掘方法的实现。 图形用户界面：在用户和数据挖掘系统之间通信，允许用户与系统交互，指定数据挖掘查询或任务，提供信息，帮助搜索聚焦，根据数据挖掘的中间结果进行探索式挖掘。此外，该模块还允许用户浏览数据库和数据仓库模式或数据结构，评估挖掘的模式，以不同的形式对模式进行可视化。 2、典型数据挖掘系统 2、典型数据挖掘系统 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，以支持部门的决策。 面向主题：指数据仓库围绕某个主题，剔除无用的数据，提供特定主题的简明视图。 集成：指数据仓库通常是多个异种数据源中的各种数据的集成。 时变：指数据仓库中的数据为历史数据，其关键结构隐式地或显式地包含着时间因素。 非易失：指数据仓库物理地分离式地存放数据，数据仓库中不需要事务处理、恢复和并发控制。 2、典型数据挖掘系统 数据仓库的应用包括信息处理、分析处理和数据挖掘。