开题报告大数据分析服务平台设计与实现.docxVIP

研究生学位论文开题报告 报告题目 大数据分析服务平台设计与实现 学生姓名 郑鹏 学号201228015029046 指导教师 叶丹 职称 学位类别 学科专业 研究方向 培养单位 填表日期 大学制 填表说明 本表内容须真实、完整、准确。 〃学位类别〃名称填写：哲学博士、教育学博士、理学博士、工学博士、农学 博士、医学博士、管理学博士，哲学硕士、经济学硕士、法学硕士、教育学 硕士、文学硕士、理学硕士、工学硕士、农学硕士、医学硕士、管理学硕士 等。 学科专业〃名称填写：“二级学科〃全称。 目录 TOC \o 1-5 \h \z HYPERLINK \l bookmark6 \o Current Document 一、 选题的背景及意义 4 HYPERLINK \l bookmark8 \o Current Document 二、 国内外本学科领域的发展现状与趋势 5 HYPERLINK \l bookmark10 \o Current Document 数据挖掘平台现状 5 分布式系统Hadoop现状 6 HYPERLINK \l bookmark12 \o Current Document 流程执行引擎现状 7 HYPERLINK \l bookmark14 \o Current Document 三、 课题的主要研究内容、预期H标 8 HYPERLINK \l bookmark16 \o Current Document 主耍的研究内容 9 基于流程的异构数据分析平台集成与协同框架 9 数据分析流程的执行优化 10 面向领域的数据分析组件的设计与应用案例研究 11 HYPERLINK \l bookmark18 \o Current Document 预期目标 11 HYPERLINK \l bookmark20 \o Current Document 四、 拟采用的研究方法、技术路线、实验方案及其可行性分析 12 HYPERLINK \l bookmark22 \o Current Document 研究方法 12 HYPERLINK \l bookmark24 \o Current Document 技术路线 12 HYPERLINK \l bookmark26 \o Current Document 实验方案 12 HYPERLINK \l bookmark28 \o Current Document 可行性分析 12 HYPERLINK \l bookmark30 \o Current Document 五、 已有科研基础与所需的科研条件 13 HYPERLINK \l bookmark32 \o Current Document 六、 研究工作计划与进度安排 13 HYPERLINK \l bookmark34 \o Current Document 七、 参考文献 13 一、 选题的背景及意义 随着互联网的快速发展，口前我们已处于数据、信息过载的海量信息吋代。 用户面对海量信息却很难找到自己真正感兴趣的内容。如何有效利用这些海量数 据，从而产生实际的价值，已成为迫切需要解决的问题。数据挖掘就是一个能够 把海量数据变成可被人类可直接利用的信息，是一个“把冰冷信息人性化”的强 有力的工具。 目前市场上已经冇一些很成熟的数据挖掘平台，如Weka, Clementine, R等。 它们都集成了大量成熟、优秀的挖掘算法。但是随着输入数据量的增加，这些工 具显得力不从心。对于大数据量的挖掘，它们可以采用先采样后挖掘的方法，但 是这明显降低了挖掘结果的准确度。随着Hadoop掀起的分布式计算热潮，分 布 式数据挖掘算法库Mahout应运而生。虽然目前來看Mahout尚未十分成熟，但 却已经引起了业界足够的关注。配合上MapReduce分布式计算在数据预处理 上 显示出的强大的优势，分布式的数据处理，分析和挖掘已经成为一种趋势。 Hadoop生态系统中的分布式存储和计算能力，配合上Weka, R, Mahout等开 源数据挖掘的分析能力，使得它们已成为很多公司和个人数据分析的有力工具。 虽然这些开源工具的存在减轻了数据分析和挖掘的负担，但是这些工具的异 构性给数据分析工程师带来了新的困扰。在一个完整的数据分析（尤其是大量数 据分析）流程中，难免会用到多种平台和工具。首先数据可能存储在不同的介质 上，并且以不同的形式存储。其次，数据处理过程中，数据量可大可小，如杲数 据量较小，为了操作简单，执行速度较快，分析人员可能编写Java程序对数据 进行预处理。如果数据量较大，简单的单机Java程序可能无法担此重任，此时 用户可以编25 MapReduce程序，分布式处理数据。如果数据量较