入侵检测-广东工业大学精品课程.ppt

* 通信领域中的电话记录数据流、Web上的用户点击数据流、网络监测中的数据包流、各类传感器网络中的检测数据流、金融领域的证券数据流、卫星传回的图像数据流以及零售业务中的交易数据流等形成了一种与传统数据库中静态数据不同的数据形态——数据流。 数据流实时、连续、有序、快速到达的特点以及在线分析的应用需求,对流数据挖掘算法提出了诸多挑战，其中最主要的挑战是使用小的存储空间和少的运行时间快速地进行必要的处理，传统的处理方法难以满足这种要求。 研究热点-数据流挖掘 * 协同计算与知识工程 * 文本挖掘是近几年来数据挖掘领域的一个新兴分支，文本挖掘也称为文本数据库中的知识发现，是从大量文本的集合或语料库中抽取事先未知的、可理解的、有潜在实用价值的模式和知识。 目前，国外的文本挖掘研究已经从实验性阶段进入到实用化阶段，著名的文本挖掘工具有：IBM的文本智能挖掘机、Autonomy公司的Concept Agents、TelTech公司的TelTech等。但是，国内正式引入文本挖掘的概念并开展针对中文的文本挖掘研究是从近几年才开始的。 研究热点-文本挖掘 * 协同计算与知识工程 * Web挖掘定义为：从Web文档、Web活动中抽取感兴趣的、潜在的有用模式和隐藏信息。 Web挖掘的研究主要有3种，即Web结构研究、Web使用研究和Web内容研究。 Web挖掘广泛应用于搜索引擎、网站设计和电子商务等领域。面向Web的数据挖掘比面向数据库和数据仓库的数据挖掘要复杂得多，这是由于互联网上异构数据源环境、数据结构的复杂性、动态变化的应用环境等特性所决定的。 研究热点-Web挖掘 * 协同计算与知识工程 * 人类基因组计划的启动和实施使得核酸、蛋白质数据迅速增长，这些海量的数据需要被合理的存储、组织和索引，信息科学被引入这一领域就形成了“生物信息学”。生物信息学是定义为生命科学与数学、计算机科学和信息科学等交汇融合所形成的一门交叉学科。它应用先进的数据管理技术、数学分析模型和计算机软件对各种生物信息进行提取、储存、处理和分析，旨在掌握复杂生命现象的形成模式与演化规律。显然，数据挖掘在生物信息中具有重要的作用，生物信息数据挖掘通过利用数据挖掘技术和方法来发现对分子生物学有价值的知识。数据挖掘与生物信息学有很好的结合点，其在生物信息学领域的应用潜力日益受到人们的重视。 研究热点-生物信息数据挖掘 * 协同计算与知识工程 * 数据挖掘未来发展 (1) 数据挖掘技术与特定商业逻辑的平滑集成问题 (2) 数据挖掘技术与特定数据存储类型的适应问题 (3) 大型数据的选择与预处理问题 (4) 数据挖掘系统的构架与交互式挖掘技术 (5) 数据挖掘语言与系统的可视化问题 (6) 数据挖掘理论与算法研究 (7) 与数据库数据仓库系统集成 (8) 与语言模型系统集成 (9) 挖掘各种复杂类型的数据 (10) 支持移动环境 * 协同计算与知识工程 * 附： 数据挖掘领域10大挑战性问题 数据挖掘研究领域10大挑战性问题: 数据挖掘理论的构建 高维、数据流数据挖掘 时间序列数据挖掘 从复杂数据中挖掘复杂知识 网络环境下的数据挖掘技术 分布式多代理的数据挖掘 生物及环境问题数据挖掘 相关问题的数据挖掘处理 安全、隐私及数据整合 非静态、不平衡及代价敏感的数据挖掘 * 协同计算与知识工程 * * 谢谢大家! Email: shteng@gdut.edu.cnphone#: (020O) (020O) 协同计算与知识工程 * * * * * * * * * 数据挖掘方法（功能） 演化分析 演化分析就是对随时间变化的数据对象的变化规律和趋势进行建模描述。如商品销售的周期(季节)性分析。 其他面向模式或统计分析 * * 协同计算与知识工程 数据挖掘过程 数据挖掘和知识发现紧密相连，在认识数据挖掘过程前，先来了解知识发现这个概念。 知识发现(Knowledge Discovery in Database，KDD)是从数据中发现有用知识的整个过程，这个过程定义为：从数据中鉴别出有效模式的非平凡过程，该模式是新的、可能有用的和最终可理解的。 * * 协同计算与知识工程 知识发现的主要步骤 数据清洗:其作用是清除数据噪声及与挖掘主题明显无关的数据。 数据集成:其作用是将来自多数据源中的相关数据组合到一起。 数据转换:其作用是将数据转换为易于进行数据挖掘的数据存储形式。 数据挖掘:其作用是利用智能方法挖掘数据模式或规律知识。 模式评估:其作用是根据一定评估标准从挖掘结果筛选出有意义的相关知识。 知识表示:其作用是利用可视化和知识表达技术，向用户展示所挖掘的