大学英语学习数据挖掘模型与构建方法.docVIP

大学英语学习数据挖掘模型与构建方法 大学英语学习数据挖掘模型与构建方法 摘要:本文通过对数据挖掘与模型构建技术的研究,结合广州大学大学英语学习数据库的特点,构建服务器端的事实星型模型,并在SQLSERVER和分析服务器的平台上进行学生学习数据挖掘,对学生的英语学习 行为和成绩进行相关性分析和预测,为学校的英语教 学改革和学习提供了科学的决策依据. 关键词:数据挖掘;模型构建方法;分析服务:大学英语学习 1系统结构设计及实现 大学英语学习数据库平台是SQLSEVER,其分析服务提供 了对数据的深度挖掘服务.在此平台,我们设计了分析服务构 建数据挖掘的解决方案,其系统结构下图. 大学英语学习数据挖掘系统结构 完成构建数据挖掘模型,需要经过下列四个阶段的工作: ?组织数据挖掘源数据;?建立数据挖掘立方体;?从服务器 端和客户端构建并训练数据挖掘模型;?利用数据挖掘模型进 行预测查询.本节将详细论述这些工作的完成过程,以此构成 一个基于SQLSERVER分析服务数据挖掘解决方案. 1.1组织数据挖掘源数据 (1)选取设计模式.通常采取的设计模式有几种:星型模 式,雪花模式,事实星座模式,维事实模式,星型一ER模式等.在 星型模式中,维表是扁平的,即不论一个维层次上有多少维属 性,都将它们置于同一个维表中.星型模式具有一定的数据冗 余,但是它比其他的模式具有较高的效率,星型模式的改进是 事实星座模型,其允许在一个模型中有多个事实表,它们是由 共享维连接起来的.维事实模型(DFM)是以事实为根节点的准 树结构,其中除了根以外的节点为维属性,维属性之间连线表 示事实中的度量,属性可以沿该线进行粒度不同的聚合运算. 我们对大学英语数据挖掘的目的在于寻找出学生学习英 语及其能力训练方面的规律,根据已有的数据库的特点,选取 事实星座模式.根据英语学习的需求主题,设计事实表和维代 码表. (2)为挖掘主题建立关系数据库.该数据库不是用于事务 处理的数据库,而是为数据挖掘主题准备源数据的学生学习信 息采集库.创建采集库后,根据设计的事实表和维代码表创建 相应的表格,并且创建相关的索引. (3)设计数据转换模块(DTS),提取和加载数据.数据转换 模块把分散在32个学生学习库中的相关数据经过抽取,转换 和装载,汇集,规范到事实表中.DTS不仅可以将数据导入和导 出,还可以根据提取要求创建软件包,实现异构数据的转换和 加载.同时使用触发器,可以将实时数据库的新记录及时插入 学生学习信息采集库的事实表中.另外,DTS还提供定时装载 数使系统空闲时向学生学习信息采集库装载数据. 98 广东科技2009.7.总第217期 1.2建立数据立方体(Cubes) 建立数据立方体时,需要利用分析服务创建数据库,这个 数据库本质上是虚拟的,用于存放OLAP服务结构的对象,包 括五个对象: DataSource:用于存放数据库的数据源; cubes:用于存放立方体对象; SharedDimensions:存放可以用于所有立方体的维; MiningM0dels:存放数据挖掘模型: DatabaseRoles:存放数据库中的角色信息. 按照下面的过程建立数据立方体: (1)指定数据源.在每一个数据库中,都可以指定一个或多 个数据源,为立方体,数据挖掘模型等对象提供数据.使用 OLEDBProvider清单,即可以完成指定数据源的要求. (2)维和立方体.维是一种概念度量单位,一组几个相关的 度量表示组成一个维,并且可以分成不同的层次.例如学生的 维是姓名,专业,班级,性别等. 通过使用SharedDimensions对象,继续创建共享维,为立 方体的建立做准备.立方体是存储各种学习数据的一种结构, 允许我们方便快捷地浏览其中的数据,是数据挖掘数据组织中 重要的一部分利用Cubes对象,可以选择数据源,事实表,维 和度量等来创建一个立方体. (3)存储立方体.建立后的立方体有三种存储类型可供选 择:(~)MOLAP:数据和聚合都存储在多维结构中.需要花相当长 的时间才能把数据从数据集市或数据仓库传送到多维数据库 中,但是,具有查询快速而有效的特点.~ROLAP:数据和聚合 都存储在关系型数据库中.其占用磁盘空间少,但是查询时间 较长.?HOLAP:利用MOLAP和ROLAP的优点,将数据存储 在关系数据库中,将聚合存储在多维数据库中,使用分区管理 工具来实现灵活的立方体存储.经过上述步骤,为数据挖掘准 备好了所需要的源数据转换. 1_3构建,训练数据挖掘模型 分析服务提供了服务器端和客户端两种架构,分别从服务 器端和客户端构建数据挖掘模型.由于数据挖掘模型的操作是 整个解决方案的重点,所以选择从服务器端构建数据挖掘模 型. 要在服务器