大数据分析、挖掘与应用21.pptxVIP

  大数据分析、挖掘与应用;一、大数据分析与挖掘 ;二、大数据处理架构; MapReduce执行流程图; MapReduce模型首先将用户的原始数据源进行分块，然后分别交给不同的Map任务区处理。Map任务从输入中解析出Key/Value对集合，然后对这些集合执行用户自行定义的Map函数得到中间结果，并将该结果写入本地硬盘。Reduce任务从硬盘上读取数据之后，会根据key 值进行排序，将具有相同key 值的组织在一起。最后用户自定义的Reduce函数会作用于这些排好序的结果并输出最终结果。 ; MapReduce的核心设计思想： 1)将问题分而治之； 2)把计算推到数据而不是把数据推到计算，有效的避免数据传输过程中产生的大量通讯开销。 MapReduce模型简单，且现实中很多问题都可用MapReduce模型来表示。因此该模型公开后，立刻受到极大的关注，并在生物信息学、文本挖掘等领域得到广泛的应用。 ;;;三、天体光谱大数据分析与挖掘; 一条Seyfert 2 光谱数据图(红移为0) 天体光谱是天体电磁辐射按照波长的有序排列，蕴含着天体的重要物理信息，例如：天体的化学成份、天体的表面温度、直径、质量、光度以及天体的视向运动和自转。天文学家和天体物理学家通过分析天体光谱的信息，不仅可以研究宇宙中物质的分布特征，还可以研究天体的形成和随时间的演化等重大科学问题。;;近年来主持承担的部分课题;主要成果之一：基于概念格的天体光谱离群数据挖掘系统;;典型论文;主要成果之二：天体光谱数据相关性分析系统;;典型论文;其他成果：;四、正在开展的主要研究工作;