面向主题的数据挖掘研究-系统工程专业毕业论文.docx

华中科技大学博士学位论文摘 华中科技大学博士学位论文 摘 要 f数据挖掘是从指定数据中发现与主题有关的、前所未知的并有潜在价值的知识 的过程，是目前数据库技术研究、开发和应用中最活跃的分支之一。／坷 数据挖掘与挖掘主题以及相应的数据特征密切相关。本文首先通过对挖掘主题 及数据特征的分析，提出了面向主题的概念和面向主题的数据挖掘建模思路。针对 金融危机预警、股票行情预测和入侵检测分析三个研究领域，根据对应的三项挖掘 主题和不完整性数据、异构时序数据以及弱频繁集数据三种数据特征，分别构建了 相应的挖掘过程模型与具体实现算法。 在金融危机预警研究中，数据挖掘旨在从众多的经济和金融指标数据中发现内 在的金融危机诱因。由于指标数据具有多维性和不完整性，需要引入知识发现与知 识合成推理的方法来凸现和展延数据中隐含的规律。金融危机预警研究中的挖掘主 题是从不完整性指标数据中发现指标之间的相互关联与影响关系，形成可推理的知 识，据以预测会否发生金融危机。挖掘过程由数据预处理、规则挖掘以及规则推理 与预测三个前后衔接的子过程构成。在各个子过程中，分别设计和实现了合适的算 法。 ／首先，采用区间法对数据进行预处理，提出了基于差异度的模糊聚类分析算法， 把指标数据按照对评价集的模糊隶属情况分成不同的聚类区间，并采用遗传算法分 析了各个指标的频繁程度优先级； 其次，提出了一种具有双重筛选功能的逐维挖 掘算法(D珊剃)，在聚类区间数据集中挖掘多维多阶模糊规则；最后，在有效规则 合成与推理的基础上，提出了基于不完整性决策树的模糊预测模型，生成的预测子 树经加权合成后形成了模糊预测结果，最终提供了一种三级预警模式。应用结果表 明：基于不完整性数据的预测模型有效地反映了不同维数指标区间组合对发生金融 危机的影响。经比较，可见这种预警模式的预测效果比传统的阙值法及加权法有明 显提高。 在我国股票市场行情预测中，挖掘主题是如何从受突发消息影响的多维时序数 据中发现行情变化的特征模式．本文根据不同的挖搦粒度。把挖掘过程分为事件特 华中科技大学博士学位论文征模式挖掘、关联特征模式挖掘和消息影响模式挖掘，最终通过三种特征模式的加 华中科技大学博士学位论文 征模式挖掘、关联特征模式挖掘和消息影响模式挖掘，最终通过三种特征模式的加 权融合构成一个集成预测模型。在事件特征模式和关联特征模式挖掘中，分别定义 了事件相似度和关联相似度作为事件序列和连续数值序列两两比较的基准；针对语 义消息，建立了基于Web的消息发现、理解、自动分流和评价模型；集成预测模型 的软件系统实现方面，引入分布计算技术构造了分布协同挖掘原型系统Stock Miner；进而，为提高Stock Miner的智能化，建立了基于多Agent技术的分布式协 同挖掘模型框架。通过预测结果可见：考虑消息影响的集成挖掘模型揭示了我国股 票市场行情的变化特征，走势预测的精度较高。 网络入侵分析中的挖掘主题是如何从海量数据中发现入侵事件特征，并采取相 应对策阻断入侵行为和提高入侵分析能力。采用数据挖掘方法能够在大量的网络数 据包中发现未知的攻击行为。由于恶意网络攻击行为形式多样，又隐含在海量数据 的一个很小的子集中，其数据特征为弱频繁集数据．针对弱频繁集数据的挖掘闯题 由入侵行为挖掘和多点协同机制两部分组成，其技术路线为：采用授权策略对数据 进行降维及简约处理，形成感兴趣的数据子集(频繁集)，并针对不同序列的数据， 根据可疑序列与标准模式的匹配程度来甄别恶意攻击行为；为了弥补单点入侵分析 能力的不足，构造了分布式多点协同IDS模型，将入侵分析技术与在线响应结合在 一起，使网络具有整体防御和在线响应机制，实现IDS的主动性和提高其自我免疫 能力。应用实例表明：基于弱频繁集的多点协同入侵分析和在线响应策略能够更有 效地发现和消除日志数据库中隐含的恶意攻击行为，捡出的可疑攻击行为数目比直 观判断和统计分析提高了约2倍。 作者最后对全文进行了总结，并对数据挖掘研究的发展前景进行了乐观展望。y ／ i 暑 关键词：i面向主题，模糊聚类，逐维挖掘算法，时序数据，不完整性决策树， 弱频繁集 ——————_—————_——————_——__●_-●__-—_———●—_—_—_-———————_——__-_————————-_——-————-—一 tt 华中科技大学博士学位论文Abstract 华中科技大学博士学位论文 Abstract Data mining is to discover topic—related，unknown and potentially valuable knowledges from appointed data．It’S now眦active branch of database technology in