大数据工作程序.pptVIP

* 大数据处理流程及 相关工具介绍 目录 大数据处理流程简析 1 2 3 各处理流程相关技术简析 （基础常识、工作原理、常用工具） 分布式并行处理技术MapReduce 数据抽取、转换、装载过程 数据相互转移 分布式文件系统 海量结构化存储系统 机器学习、数据挖掘、语义搜索 PowerView 动态图表 数据采集 数据预处理 数据存储 数据分析挖掘 结果展现 海量非结构化存储系统 一、大数据处理流程简析 一、大数据处理流程简析 数据采集 数据预处理 数据存储 数据分析挖掘 结果展现 chukwa Sqoop HDFS HBASE HIVE PowerView 分布式并行处理运算MapReduce 常 用 工 具 maout 二、、分布式并行处理技术MapReduce 单词技术问题 MapReduce工作流程 分割文本 生成新的文本 结果归拢排序 原文本 MapReduce是一套软件框架，包括Map（映射）和Reduce（化简）两个阶段， 可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。 三、各处理流程相关技术简析 数据采集 数据采集是数据分析、挖掘的基础，常用的海量数据采集工具有Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式