07数据挖掘.docVIP

课题名称：入侵检测技术之数据挖掘 课的类型：授新课 教学目标：学习入侵检测的数据挖掘相关基本概念，分析数据挖掘在入侵检测的应用。 教学重点：入侵检测的数据挖掘相关基本概念 教学难点：入侵检测的数据挖掘相关基本概念 课时安排：2课时 教学方法：多媒体原理分析、讲授 教学过程： 序言 全球范围内数据库中存储的数据量正急剧增加,数据 库系统提供了对这些数据的管理和简单处理能力，人们可以利用这些数据进行商业分析和科 学研究。面对如此庞大的数据库人们的需求已经不只是简单的查询和维护，而是希望能够对 这些数据进行较高层次的处理和分析以得到关于数据总体特征和对发展趋势的预测。而这些功能是数据库技术、人工智能和统计学等无法单独完成的。“我们淹没在信息之中，但仍处于知识的饥渴中”Johe Naisbett说。由此，知识挖掘技术便应用而生。 知识挖掘的定义几经变动，最新的描述性定义是由Usama M.Fayyyad等给出的：数据挖掘是 从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。 由于数据挖掘是一门新兴学科，况且它又是一门受到来自各种不同领域的研究者关注的边缘 学科，因此产生很多不同的术语，除了称为“知识挖掘”外，主要还有如下若干种称法：“ 数据发现”、“数据开采”、“知识抽取”、“信息发现”、“知识发现”、“智能数据分 析”、“探索式数据分析”、“信息收获”和“数据考古”等等。“数据挖掘”被许多研究 者看作仅是数据发现的一个步骤。相对来讲，数据开采主要流行于统计界、数据分析、数据 库和管理信息系统(MIS)界；而数据发现则主要流行于人工智能和机器学习界。 知识挖掘虽然只有十年的历史，但它已被越来越多的领域所采用,并取得了较好效果。这些 领域有科学研究、市场营销、金融投资、欺诈甄别、产品制造、通信网络管理等。由加州理 工学院喷气推进实验室与天文科学家合作开发的SKICAT(Sky Image Cataloging and Analys is Tool)是第一个获得相当成功的数据挖掘应用，已经帮助科学家发现了16颗极其遥远的类星体。 虽然知识挖掘已经受到许多关注并取得了广泛应用，但它仍处于发展的早期，还有很多研究 难题和面临的挑战，如数据的巨量性、动态性、噪声性、缺值和稀疏性，发现模式的可理解 性、兴趣或价值性，应用系统的集成，用户的交互操作，知识的更新管理，复杂数据库的处 理等等。 数据挖掘的基本概念 什么叫数据挖掘 数据挖掘是一项通用的知识发现技术，又称数据库中的知识发现（Knowledge Discovery in Database: 简称KDD）,是指从大型数据库或数据仓库中提取隐含的、未知的、异常的及有潜在应用价值的信息或模式。它是数据库研究中的一个很有应用价值的新领域，融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术，是从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。 数据挖掘所能发现的知识有如下几种:广义型知识，反映同类事物共同性质的知识;特征型知识，反映事物各方面的特征知识;差异型知识，反映不同事物之间属性差别的知识;关联型知识，反映事物之间依赖或关联的知识;预测型知识，根据历史的和当前的数据推测未来数据;偏离型知识，揭示事物偏离常规的异常现象。所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。例如，从一家超市的数据仓库中，可以发现的一条典型关联规则可能是买面包和黄油的顾客十有八九也买牛奶，也可能是买食品的顾客几乎都用信用卡，这种规则对于商家开发和实施客户化的销售计划和策略是非常有用的。至于发现工具和方法，常用的有分类、聚类、减维、模式识别、可视化、决策树、遗传算法、不确定性处理等。 2.数据挖掘分类 数据挖掘涉及的学科领域和方法很多，有多种分类法。根据挖掘任务分，可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象分，有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多