Hadoop安总体架构设计建议.docVIP

Hadoop应用点总体架构设计建议  总体架构规划 平台愿景 联动优势hadoop平台总包含以下几大模块： 数据平台：数据平台提供对最原始数据的存储，以及ETL，为上层系统提供数据支撑，其中数据平台功能包括，数据存储、离线处理、在线处理、数据导入导出。 应用平台：如查询系统、风控系统构建在数据平台以及数据产品之上。 内部运行支撑应用环境：主要指能够支撑平台稳定运行的各种系统与工具，如调度系统、监控系统、管理系统等 数据产品：数据产品以数据平台为基础，应用各种分析方式、挖掘算法包装出一些列的数据产品，比如UserProfile等 数据处理流程 日志采集：由现有的业务系统通过分布式日志采集系统，将非结构化业务日志采集到HDFS上，同时日志采集系统包含日志分发模块，可以将日志分发到实时计算框架中。 离线处理：主要针对存储到HDFS上的日志通过pig、mapreduce、hive等离线处理框架进行离线处理，并可以通过sqoop将结果导入到Hbase、mysql等存储中 在线处理：通过日志转发模块给Storm集群转发实时日志，Storm将数据实时处理并将计算结果存储到Hbase等大吞吐量的key-value数据库中，供前段应用实时查询 数据展示：前端应用通过缓存层将数据库中的数据进行一次缓存，达到良好的用户体验 实施战略技术路线 平台架构路线可以分为三步骤：