AI_6机器学习概述.ppt

6.4.2　分类系统 在分类系统中，GA仅作为系统的一部分功能，且GA的运行穿插在执行系统的循环中。GA的运行时机可以是确定的（即在执行系统运行t次后，调用一次GA运算）或随机的（即执行系统平均运行t次后，有一次GA调用）；也可以是在某些事件发生后再调用GA（如没有分类器可以匹配或系统性能变差）。 6.7 数据挖掘 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。 它通常采用机器自动识别的方式，不需要更多的人工干预。可以说数据挖掘就是知识发现技术在数据库领域中的应用，其在一个已知状态的数据集上，通过设置一定的学习算法，发掘出数据间隐含的一些内在规律，即获取（发现）所谓的知识。 6.7 数据挖掘 数据仓库的实质就是一个数据库，但是它存储的数据与普通数据库中的数据不太一样，它存储的是从常规数据库抽取出的经过加工整理的数据。例如对于商场应用来说，原有数据库中存储的是每一笔交易的数据，而数据仓库则要根据已往的历史记录进行提炼整理，存放的可能是某种产品某月在某地区的特定销量等记录。数据挖掘可以在数据仓库上进行操作，作为基于数据仓库的分析工具。 6.7 数据挖掘 1、数据挖掘应用分类 根据应用需求，实现数据挖掘的模型可大致分为以下几类：1）分类模型：分类模型的主要功能是根据商业数据的属性将数据分类。 2）关联模型：关联模型旨在发现数据项间隐含的相关性，通常表示为关联规则集，并设置信任级别来度量关联规则的强度。 3）时序模型：时序(Sequence)模型主要用于分析数据仓库中的某类同时间相关的数据，并发现某一时间段内数据间的时序关系。 4）聚类模型：聚类模型按照某种相近度量方法，将待分析数据分成互不相交的一些分组，称为聚类。 6.7 数据挖掘 2、数据挖掘采用的典型方法及工具 1）神经网络：神经网络建立在有自学习能力的数学模型基础上，可以对大量复杂的数据进行分析，并完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析。神经网络的典型应用是建立分类模型。 2）决策树：决策树是通过一系列规则对数据进行分类的过程。采用决策树，可以将数据的分类规则可视化，其输出结果也容易理解。 6.7 数据挖掘 3）粗糙集（rough set）技术：粗糙集理论由波兰科（Z . Pawlak）在1982年提出，是一种新的处理含糊性和不确定性的数学工具，在数据挖掘中发挥了重要的作用，主要用于挖掘关联规则。 4）联机分析处理：联机分析处理(On Line Analytical Processing，OLAP)主要通过多维的方式来对数据进行分析、查询和产生报表。它不同于传统的联机事物处理(On Line Transaction Processing，OLTP)应用。 5）数据可视化(Data Visualization)：数据仓库中包含大量的数据，并且充斥着各种数据模型，将如此大量的数据可视化需要复杂的高性能可视化工具。 3 数据挖掘系统结构 数据仓库 数据清理 数据集成 过滤 数据库 数据库或数据仓库服务器 数据挖掘引擎 模式评估 图形用户界面 知识库 6.7 数据挖掘 数据库、数据仓库或其他信息库：是一个或一组数据库、数据仓库、电子表格或其他类型的信息库。可以在数据上进行数据清理和集成。 数据库或数据仓库服务器：根据用户的挖掘请求，数据库或数据仓库服务器负责提取相关数据。 知识库：是领域知识，用于指导搜索，或评估结果模式的兴趣度。 6.7 数据挖掘 数据挖掘引擎：数据挖掘系统的基本部分，由一组功能模块组成，用于特征化、关联、分类、聚类分析以及演变和偏差分析。 模式评估模块：使用兴趣度量，并与数据挖掘模块交互，以便将搜索聚焦在有趣的模式上，可能使用兴趣度阈值过滤发现的模式。 图形用户界面：该模块在用户和数据挖掘系统之间通信，允许用户与系统交互，指定数据挖掘查询或任务，提供信息，帮助搜索聚焦，根据数据挖掘的中间结果进行探索式数据挖掘。 6.7 数据挖掘 4 数据挖掘过程 数据挖掘是一个人机交互处理过程。该过程需要经历多个步骤，并且很多决策需要由用户提供。从宏观上看，主要经由三个部分组成，即数据整理、数据挖掘和结果的解释评估。 4 数据挖掘过程 数据清理筛选 数据 目标数据 预处理及变换 变换后的数据 数据挖掘 解释/评估 数据挖掘的步骤 1. 数据准备：了解KDD应用领域的有关情况。包括熟悉相关的知识背景，搞清用户需求。 2.数据选取：数据选取的目的是确定目标数据，根据用户的需要从原始数据库中选取相关数据或样本。在此过程中，将利用一些数据库操作对数据库进行相关处理。 3.数据预处理：对步骤2中选出的数据进行再处理，检查