云计算平台架构图.docxVIP

Hadoop 生态系统数据流程图及架构图 关浆空数居 库 阳 E 关系曰数 Eg 庄 1、mysql 、oracle sql server 等关系型数据库结构化数据通过 sqoop2 工具导入到 hive 、hdfs 中，通过 hive 、mapreduce 等工具进行过虑、清 洗、统计、分析、计算等操作，将操作后数据放到 hdfs 云存储里面，或 者再通过 SQOOP2工具导回到关系型数据库。 2、日志、文档、图片、小视频等半结构化数据及非结构化数据通过 flume 或者其他数据采集工具采集，采集数据可以放到 hdfs 云存储、 hbase 分布式数据库等。 3、通过 hbase api 接口将各类数据组织之后放到 hbase 分布式数据库中。 4、数据釆集工具采集到一部分数据可以进行流式计算，即数据先缓存到 kafka 等消息队列，然后实时传送给 storm 系统进行数据挖掘，数据分析等，将所得结果放到关系型或非关系型数据库。 5、s park 系统和 hadoop 系统结合使用， spark 系统读取 hdfs, hbase 上数据通过其高效率内存计算功能进行计算，挖掘，分析等操作，将所得 结果存放到关系型或非关系型数据库。