基于粗糙集属性约减算法的Hadoop框架优化-软件工程专业论文.docxVIP

万方数据 万方数据 湖 南 大 学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除 了文中特别加以标 注引用的内容外 ， 本论文不包含任何 其他个人或集体已 经发表或撰写的成 果作品。对本文的 研究做出重要贡献 的个人和集体 ， 均 已 在 文 中 以 明 确 方 式 标 明 。 本 人 完 全 意 识 到 本 声 明 的 法 律后果由本人承担。 作者签名： 日期：年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定 ，同意学 校保留并向国家有 关部门或机构送交 论文的复印件和电 子版 ， 允许论文被 查阅和借阅。本人 授权湖南大学可以 将本学位论文的全 部或部分内容编入 有关数据库进行检 索 ， 可 以 采 用 影 印 、 缩 印 或 扫 描 等 复 制 手 段 保 存 和 汇 编 本学位论文。 本学位论文属于 1、保密□，在______年解密后适用本授权书。 2、不保密□√。 （请在以上相应方框内打“√”） 作者签名： 日期： 年 月 日 导师签名： I 日期： 年 月 日 基于粗糙集属性约简算法的 基于粗糙集属性约简算法的 Hadoop 框架优化 II万方数据 II 万方数据 摘 要 基 于 粗 糙 集 的 属 性 约 简 算 法 ,作 为 数 据 挖 掘 最 重 要 的 子集 被 广 泛 应 用 于 计 算 机、生物、化学等多个领域，近年来随着数据的爆炸式增长，传统的单机运算已 无法满足多元化应用。云计算通过建立计算资源共享池，解决单台设备计算能力 不足的问题，消除应用瓶颈，分布式计算作为其重要技术之一，能够使用普通PC 代替大型计算设备，具备低成本、高可靠、易扩展等特性，非常易于传统算法移 植。然而，在实际的算法分布化过程中，复杂的流程划分与顺序调度会引起中间 结果与磁盘的频繁交互，引起大量的时间与空间资源消耗，因此，本文设计并实 现一个读写分离的数据缓存中心，通过重定向分布式框架中的数据读写、封装及 传输流程，加速数据流转，减少额外消耗。 首先，实现传统属性约简算法在集群内的分布式化。根据分布式计算特性改 写传统算法的数据处理与读写模式，并通过实验比对验证，随着输入数据集增长， 两种算法的耗时收敛性，进而分析由于算法步骤划分导致的计算框架重复启动、 中间结果频繁交互磁盘等问题，提出解决问题的构想。 随后，设计并实现一个基于闪存、读写分离的数据中心，运算的中间结果均 可通过该中心进行传递和衔接。该种架构能够避免大量的慢读写，合理利用有限 资源，发挥普通PC与小型服务器应有的作用。同时，为了给集群运算提供更加稳 定、高效的中间缓存机制，数据中心使用单例模式、锁机制、共享内存、多线程、 流传输、逻辑分离等多项技术优化架构，重定向框架底层的通信以及数据封装机 制，并使用Socket机制初始化流通道，在模块内嵌入相应的拆装箱及数据处理方 法，整合输入信息以便快速读取，使得数据处理与数据传输完全分离，提供更加 友好灵活的缓存机制。优化后的框架，不仅能够良好地支持传统算法在分布式集 群内的高效运行，还降低了额外的磁盘读写开销，更以集群和数据中心为依托， 提升了算法在任务并发、数据规模两方面的延展性，为海量数据应用提供坚实的 基础。 最后，通过实验验证优化的有效性。采用小规模集群对威斯康星数据库内多 个数据集进行验证，通过对比本地串行、分布式计算及框架优化前后的分布式计 算耗时，考察框架的实际运算能力，分析运算耗时、耗时环比、通信耗时、耗时 收敛性等多方面数据，从理论和实践两方面验证课题的价值，力求创新的同时保 证严谨。 关键词：粗糙集；属性约简；分布式计算；数据缓存；Hadoop 硕士学位论文 硕士学位论文 PAGE VI PAGE VI 万方数据 Abstract As one of the most important subsets of data mining, attribute reduction algorithm that based on covering rough set has been applied in different areas to analyze and extract model, like computer, biology and chemistry. However, the traditional calculation on single server cannot suit for all of the application scenarios with information explosion. At th