网络信息资源的数据的挖掘类型与应用研究.doc

网络信息资源的数据挖掘类型与应用研究 随着Internet的飞速发展，网络信息资源急剧增长，网络信息过载问题日益突出，人们越来越多地关注如何开发和利用这些资源。然而，目前中英文搜索引擎均存在查准率、查全率不高的现象，这种现状无法适应用户对高质量的网络信息服务的需求；同时，电子商务以及各种网络信息服务迅速兴起，原有的网络信息处理与组织技术无法赶上这样的发展趋势。网络信息挖掘就是在这样的环境下应运而生，并迅速成为网络信息检索、信息服务领域的热点之一。网络信息的数据挖掘不仅包括对网页内容本身的挖掘，也包括其链接模式，以及用户访问、存取、浏览、发布、操作等操作行为、访问行为所产生的信息的挖掘。有效地研究、挖掘、利用网络信息可以增强网站的吸引力，有的放矢地吸引用户群，更有效地利用网络资源。一、 网络信息资源及其特点网络信息资源是指放置在英特网上能满足人们信息需求的信息集合。网络信息资源极其丰富，包罗万象，其内容涉及农业、生物、化学、数学、天文学、航天、气象、地理、计算机、医疗和保险、历史、法律、音乐和电影等几乎所有专业领域，是知识、信息的巨大集合，是人类的资源宝库。网络信息资源是一种新型数字化资源，与传统文献相比有较大的差别。网络信息资源具有一下特点：1、数量大，类型多传播范围广。网络信息类型多样，有文本、数据、图像、图形、声频、视频信息、多媒体信息等；内容既有高质量的信息，也有有害信息和虚假信息，有个人信息也有在政府信息。最为特殊的是各种非正式信息被广泛生产与传播。2、网络信息资源没有统一的管理机制，信息安全缺乏保障。黑客攻击、计算机病毒和色情泛滥成为网络的三大痼疾。为防止有害信息耗费了大量的社会资源。3、网络信息资源分布零乱无序，信息更新快，寿命短，管理相对困难。信息发布自由，来源广泛，内容混杂，质量不一，控制也比较困难。4、以网站为信息活动的单位，以网页为信息发布和收集的单元。5、信息利用水平取决于网站软硬件的技术水平和服务能力，网络信息提供方式是以网站为基点并可在网站间灵活链接的信息服务网。6、网络创造了多层次的信息交流模式，全面反应了社会生活的各个领域，形成了百科全书式的知识网络和传播功能。二、 数据挖掘的语言数据挖掘语言有助于数据挖掘系统平台的标准化，推动数据挖掘应用的发展。数据挖掘语言根据功能和侧重点的不同，可分为三种类型：数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。（一）数据挖掘查询语言DMQL数据挖掘查询语言DMQL由数据挖掘原语组成。数据挖掘原语用来定义一个数据挖掘任务，通过查询的方式实现与数据挖掘系统通信，获得所需信息。数据挖掘查询语言DMQL主要有五种基本的数据挖掘原语定义：任务相关数据原语、被挖掘的知识的种类原语、背景知识原语、兴趣度测量原语、被发现模式的表示和可视化原语。DMQL 是基于这五种数据挖掘原语设计的查询式语言，类似于SQL 语言的语法，因此很容易与SQL 关系查询语言集成，很容易从关系数据库中挖掘知识信息。MSQL 是另一个数据挖掘查询语言，由Imielinski 和Virmani 提出。它使用了类似于SQL 的语法和SQL原语，为了规范规则产生和规则选择，提出了被称作GetRule 和SelctRule 的原语。（二）数据挖掘建模语言PMML数据挖掘建模语言PMML 全称预言模型标记语言（Predictive Model Markup Language），是对数据挖掘模型进行描述和定义的语言，使数据挖掘系统在模型定义和描述方面有法可依，各种数据挖掘系统可以共享模型，又可以在应用程序系统中间嵌套数据挖掘模型，不需要独自开发，就能使数据挖掘达到深度挖掘的目的。预言模型标记语言PMML 是一种基于XML 的数据挖掘建模语言，利用XML 描述和存储数据挖掘模型，使用标准的XML 解析器对PMML 解析，可以得到预计的输入和输出数据类型。PMML2.0 主要由：标题（header）、数据字典（data dictionary）、数据流（data flow）、挖掘模型（mining schema）、数据转换（Derived Values、Statistics、Taxonomy、Normalization）、预言模型（Tree Model、Naive Bayes、General Regression、Regression Model、Sequences、General Structure、Asscocation Rules、Neural Network、Center and Distribution based Clustering）、模型组合定义（ensembles of models）、选择和联合模型和模型组合的规则（rules for selecting and combining models