海量数据挖掘技术分析-统计学专业论文.docxVIP

渐潋大学博士学位论文摘要 渐潋大学博士学位论文 摘要 随着信息技术特别是网络技术飞速发展，人们收集、存贮、传输数据能力不 藜撬蹇。数据氆瑷了爆炸瞧增长，与戴形成鳝秘对琵豹怒，对决策寿份俊豹麴谈 却非常匮乏。知识发现与数据挖掘技术正是在这～背景下诞生的一门新学科。数 据挖掇要在实舔应耀中发撂终赐，衰蛙麓挖撼算法帮数撰挖掘软{譬乎台楚重要爨 技术基础。本文以数据挖掘最基本问题，频繁模式与关联规则挖掘为切入点，研 究麓封闯效率、高空闻可传缝蛙憨挖握算法积分布、暴嫫、海爨数据熬协期挖撼 软件模型。 本文蓠先发现了基于撼表示形式款虚拟投影方法，瘸子按深度优先挖掘蜜簇 型数据集：提出了稀疏型数据集袭示形式及非过滤投影方法：谶～步提出了基于 伺机投影的思想，设计并实现了基予饲枫投影的众瑟算法OpportuneProject，对拢 实验表明浚算法挖掘各种舰模与特性数据库的效率与可伸缩性都是最健的。 由于其内在的计算复杂性，挖掘密集型数据嬲频繁模式完全集非常阙难，髌 决办法是挖掘频繁模式的闭合集或最大集。本文掇出了～种组织闭合横式集的复 合型频繁模式树，支持搜索空间的高效剪裁，有效地平衡了树生成与树剪裁的代 侨，实现了闭合模式集挖擒算法CROP，其效率与可伸缩性大大优于CHARM等 算法。在此基础上，本文提出了闭合性剪裁和一般性剪裁相结会，并熊适时前窥 的鬣大模式挖掘算法MOP，大大优于MaxMiner和MAFIA等算法。 本文进～步提如了根据信息熵自动生成与人机交互相结合来确定数值型与癸 剐蘩蒋往概念层次的新方法，不仅支持逐朦挖掘两盈能避行跨爱挖掘，并实现了 多支持率剪裁，将所提出的挖掘频繁模式完全集、闭合集的新算法推广到无冗余 关联麓刚、多缍多蘑多数攥类鍪关联藏刚、多支持率分类痰弼的挖掘闯趣。 本文在所取得的数据挖掘算法研究成粱基础上，对数据挖掘软件模型作了深 入磺究。蓠先提崮了数器携摇俸鼗箍述语言MDL帮挖掘任务模登蘑本语言，设 计并实现了一个集成数据仓库管璎功能、挖掘引辇具有一定智能、体系结构可扩 震懿数舞挖箍工其，并已经集残戮一个大鍪裔鼗涟锁金藏的经鬣决策系统中。 本文在研究分稚式问题求解技术和分析移动裂智能代理技术的基础上，提出 了铁鹅络海燕数援中发瑷鸯蔫氯谖翡傍溺挖握模蘩。酋巍定义了黑袄窝鲔谈涿的 描述语言以及知识交换格式，设计和实现了支持互联网上分布式问题求解的黑掇 系统，攫凄了分枣式溺络海璧鼗豢挖覆系统DistributedMiner。接着在分析移魂式 摘要管麓{弋理技术静基磷上，设计了一释移动式智麓代理服务器，逶避重擒基磷结构 摘要 管麓{弋理技术静基磷上，设计了一释移动式智麓代理服务器，逶避重擒基磷结构 提出了移动式网络海量数据挖掘系统模型MobileMiner。 关键溺：箱识发琨，数掇挖掘，荚鞍蔑剃，分类鬣爨，多缭多矮多数据类壅关联藐列，撅蘩搂式， 闭台频繁模式，最大频繁模式，黑板系统，分布式问题求解，智能代理，移动型智能代 理，协嗣数摇缆握，分带式数摆挖掘，穆动式数撵挖掘，絮缝墅数爨挖据工舆，篝法， 软件，海量数据库 望!!!!!!!!!!!!!竺!!!!!!!!!堑!塑g!!!：!竖!堡!!!!!g!!!!!!!g!!!!!!型旦!g!!! 望!!!!!!!!!!!!!竺!!!!!!!!!堑!塑g!!!：!竖!堡!!!!!g!!!!!!!g!!!!!!型旦!g!!! 一一一 ABSTRACT With the development of information technology，especially the emerging of the network technology，our abilities to collect，store and transfer data have been improved dramatically．Comparing to the explosive growth of data，our needs fur decision relevant knowledge are not satisfied yet．Knowledge discovery and data mining technology is an important approach to address this problem．To be useful fur real world applications，high performance mining algorithms and software platforms are in desperately need．This paper focuses on the research into efficient and scalable mining