数据挖掘技术及在用户知识获取中的应用.docVIP

数据挖掘技术及在用户知识获取中的应用 肖雷 （电信新疆公司业务支撑中心 830002） 摘要：数据仓库是为了解决海量数据的存储及应用而发展起来的一种数据存储技术，数据挖掘技术也正是伴随着数据仓库技术的发展而逐步完善的，本文介绍了数据挖掘的常用技术技术，及在用户知识获取方面的应用。 关键词：数据挖掘 知识获取 数据挖掘技术概述 随着信息技术的迅速发展，数据库的规模不断扩大，产生了大量的数据。为给决策者提供一个统一的全局视角，又产生了数据仓库技术。但大量的数据往往使人们无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，一种新的数据分析技术数据挖掘（Data Mining）由此应运而生。 数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的过程，这些信息的表现为规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。 数据挖掘的过程也叫知识发现的过程，它是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化等领域。数据挖掘是一种新的信息处理技术，其主要特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助决策的关键性数据。它并不是用规范的数据库查询语言（如SQL）进行查询，而是对查询的内容进行模式的总结和内在规律的搜索。 数据挖掘的常用技术 机器学习、数理统计等方法是数据挖掘进行知识学习的重要方法。数据挖掘算法的好坏将直接影响到所发现知识的好坏，目前对数据挖掘的研究也主要集中在算法及其应用方面。其中关联分析法、人工神经元网络、决策树和遗传算法在数据挖掘中的应用很广泛。 关联分析法。 从关系数据库中提取关联规则是几种主要的数据挖掘方法之一。挖掘关联是通过搜索系统中的所有事物，并从中找到出现条件概率较高的模式。关联实际上就是数据对象之间相关性的确定，用关联找出所有能将一组数据项和另一组数据项相联系的规则，这种规则的建立并不是确定的关系，而是一个具有一定置信度的可能值，即事件发生的概率。关联分析法直观、易理解，但对于关联度不高或相关性复杂的情况不太有效。 人工神经元网络（ANN），是数据挖掘中应用最广泛的技术。神经网络的数据挖掘方法是通过模仿人的神经系统来反复训练学习数据集，从待分析的数据集中发现用于预测和分类的模式。神经元网络对于复杂情况仍能得到精确的预测结果，而且可以处理类别和连续变量，但神经元网络不适合处理高维变量，其最大的缺点是不透 明性，因为其无法解释结果是如何产生的，及其在推理过程中所用的规则。神经元网络适合于结果比可理解性更重要的分类和预测的复杂情况，可用于聚类、分类和 序列模式。 决策树（DT）是一种树型结构的预测模型，其中树的非终端节点表示属性，叶节点表示所属的不同类别。根据训练数据集中数据的不同取值建立树的分支，形成决策树。与神经元网络最大的不同在于其决策制定的过程是可见的，可以解释结果是如何产生的。决策树一般产生直观、易理解的规则，而且分类不需太多计算时间，适于对记录分类或结果的预测，尤其适用于当目标是生成易理解、可翻译成SQL或自然语言的规则时。 遗传算法（GA）是一种基于生物进化理论的优化技术。其基本观点是“适者生存 ”原理，用于数据挖掘中则常把任务表示为一种搜索问题，利用遗传算法强大的搜索能力找到最优解。实际上遗传算法是模仿生物进化的过程，反复进行选择、交叉和突变等遗传操作，直至满足最优解。遗传算法可处理许多数据类型，同时可并行处理各种数据，常用于优化神经元网络，解决其他技术难以解决的问题，但需要的参数太多，对许多问题编码困难，一般计算量大。 数据挖掘技术在用户知识获取中的应用 网络的发展为用户提供了多种新的信息服务，因特网以其丰富的内容、强大的功能以及简单的操作，成为未来信息服务的主要方向。但当前因特网信息服务中更多的是单向、被动的服务模式，而网上用户信息需求的挖掘，可以改进因特网与用户的交互，使因特网与用户真正融为一体。数据挖掘技术的应用，使因特网能根据用户的需求采取更主动、更有针对性的服务。并且可以建立一种个性化的信息服务系统，针对不同用户的信息需求，提供不同的信息服务。而个性化服务系统的建立，则依赖于用户信息需求的挖掘。 用户知识概述 用户知识包括用户的身份、目标、兴趣、系统 经验和用户背景知识等。它可通过用户模型来描述，用户模型可以模型化用户的特点、背景知识和经验，使用特定知识获取方法识别和描述用户的各种特征。用户模型可提高人机交互能力，解释和评价系统的执行，使系统发挥主动作用；改进整个系统的执行性能。 用户知识获取方法 用户知识获取有3种基本方式：通过观察获取信息；从观察到的事实进行推理，获得未知的信息；从已知实例集合，执行基于实例