教育系统中的变量分析及其应用.pptVIP

数据挖掘及其应用 傅德荣 内 容 一、数据挖掘概述 二、DM与教育 三、教育应用 四、基于聚类的DM 五、马氏距离及其应用（判别分析） 六、数量化Ⅰ类应用 预约数的预测 超市顾客数预约 问卷设计与分析 一、数据挖掘概述 1.数据挖掘（Data Mining）定义 从大量数据中发现信息、看法、知识、假设、课题的处理和方法。 KDD（Knowledge Discovery in Database） DM是KDD的挖掘、发现部分。 发掘数据中内在的规则、知识 专家系统：抽出专家头脑中的知识，以便利用 DM：发掘数据中内在的、非明示的知识。 期待：信息社会中洪水般信息带来的诸问题的解决对策。 2. DM的处理过程 （Ⅱ）DM的处理过程 （1）数据仓库：获取、选择相关目的数据 （2）对数据进行重要的前期处理、变换 （3）从数据中发现知识 （4）对多发现的知识解释、评价、应用 这个过程可认为是知识发现的过程。 有时对（3）也称之为DM 。 从（1） （4）不是单纯的直线进行，在每一处理阶段为了达到满意的结果，还需要返回前面的阶段，这个处理过程可能需要多次反复。 （Ⅲ）DM处理的说明 一、数据的获取、选择 理解对象领域的性质 具备对象领域的基本知识 设定DM的目标 对象领域的数据集中在多个体内，并对这些库集中管理——称之为数据仓库。 对库内数据集合挖掘时应基于选定的目标。 计算机支持是导致DM成功的重要处理。 二、数据的预处理 从目标数据中消除杂音、异常值 连续数据离散，分类离散数据连续化、修补。 单位变化，坐标变换规范化 根据DM算法的要求 数据变换 预处理数据应是能符合知识发现算法要求的数据，所以数据变换可考虑到入预处理，即预处理应包含直接数据变换及其以前的全部过程。此外，还应包括属性的选择，属性的抽出，属性的建构，事例的选择。 许多知识发现的算法是以表形式的数据为对象的，数据变换的记过，往往是以表形式给出的。然而，文本信息，Web信息，判别是属性信息、药物信息等多为表形式的信息，它们是一般的表形式信息，需要别的变换处理。 三、知识发现 利用知识发现的算法，可从数据中抽出我们感兴趣的知识的候补（准知识）。利用的手法主要是统计的方法，机器学习的方法、数据挖掘的传统方法。 探索空间通过输入各种方法所规定的参数的选择多规定。 其结果，可得到概念的描述，分类的规则、相关的规则。决策树、聚类，针对不同性质，不同数量的数据，应使用不同的算法。 四、数据的解释与评价 抽出的准知识，经过解释、评价可得到完全的知识。若在此阶段还得不到这样的宏观知识，则应返回以上的步骤。究竟返回到哪一步只有在处理的过程中方能确定，也有可能返回新的数据收集。对于所得到的知识是否是所需的有用知识，应对照最初设定的标准来确认。 数据挖掘的结果及其解释应置于重要的未知，这是DM的重要特性，用户（专家）不能理解的知识是不能使用的。 上述的步骤中，许多研究集中在知识的发现算法上。然而，在DM中，最重要的是数据的获得、选择、预处理。DM中，数据是以一定的形式存放在数据库中的，这是DM的前提，用于DM 的形式，在这个处理数据比例的70~70%，能否实现有用的、良好的知识的发现与DM算法有关、与有效数据的收集有关。有效数据的准备是DM成功的重要保障。 获取数据应基于DM 的目的。在DM最初，确定的目的设定有时是比较困难的。所收集的数据可能是没有准确的目的，单在使用这些数据时，设定适当的目的是十分重要的。在庞大的数据中，若不关注这样的目的，则 不可能得到有用的知识。 设定目的是DM的开始，也是对挖掘的知识有效性评价的根据。在DM过程中，应反复听取专家的意见。处理的多阶段应反复进行，直到得到有效的知识和预设的目的。 3. DM系统 DM系统模块 用户接口： 用户与系统交互性 易于实验 视觉化 数据库接口： 是连接对象数据库的接口 通过接口，可对关系数据中的表、面向对象数据库只能够的对象，进行操作 DM模块 置入用于知识发现的算法 多种或一种 DM工具 推理、知识库 基于DM目的的多背景知识 对获取知识的存储、修正、活用 4. 应用 金融 流通 装备制造 通信 医疗 二、DM与教育概述 1. 教育的过程是一种信息（产生、传递、处理、呈现、存储）的过程。 从表面现象获取实质规律 DM 2. 远教（e-Learning）的特点 3.应用面（表观现象 本质） 学习过程 学习者特性 教材（资源）特性 教育评价 学习方式（教学模式） 问卷处理 教育现象的描述（分类）与预测 三、教育应用实例 1.学习异常的检测 2. 学习状态的预测 3.学习资源的评价 4. 协