大数据方案介绍.pdfVIP

典型云计算平台架构 开源成熟的hadoop生态体系 从企业的技术选型角度，hadoop能满足大数据场景下绝打多数需求，同时在技术可行性 与成本上，具有无可比拟额优势。 1、 Hadoop 是架构在廉价的硬件服务器上，不需要非常昂贵的硬件做支撑。2、 开源的产 品，免费的，基于开源协议，可以自由修改，可控性更大。3、因为属于二次开发，同时因为有 非常活跃的社区讨论，对开发人员的能力要求相对不高，工程师的学习成本也并不高。4、当集 群规模非常大时，开发成本和维护成本会凸显出来。但是相对于自研系统来说的话，还是便宜的 很多。 hadoop 的整个生态体系，涵盖了系统数据存储、数据收集、数据导入导出到关系数据 库、并行计算框架、数据序列化处理与任务调度、数据挖掘和机器学习、列式存储在线数据 库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。 文档 大数据分析平台 一、海量数据存储及扩展能力 基于分布式 HDFS 文件系统存储，HA 高可用配置， 数据多副本，异地备份容灾能力， 以最经济的硬件成本支持海量数据存储和扩容。 二、高负载和海量数据处理能力 基于 yarn 之上的资源管控与调度模型，支持资源的动态配置与热启动，公平科学的任 务调度算法，达到资源利用的最大化、合理化。优先分配就近的运算节点，尽可能降低网络 带宽。高容错能力，支持任务重试和资源预估，不受个别越算节点故障影响。支持动态扩充 运算资源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。 三、灵活快速的平台搭建及全面运营监控指标体系 一键式的平台搭建，支持快速搭建集群环境。灵活方便的配置界面，可针对集群、单 机进行系统配置及调优。 提供自定义的服务模块安装、资源分配、权限管理。指标体系全 面的监控管理、良好的可视化界面，提供自定义脚本的预警与处理。 文档 四、多平台、多结构的数据接入与处理 支持各种格式、多数据源的数据导入。从系统日志、数据库、第三方数据源等导入数据 到集群环境，进行快速地数据清洗、转化、建模、固化，提供各业务模块进行运算处理。良 好的模板配置，支持多ETL任务自动生成、运行。代码规范统一。 五、体验良好的交互式展示界面及报表工具 除了展示各个常规指标及运算记过。通过专业的统计数据分析系统设计方法，理清海量 数据指标与维度，按主题、成体系呈现复杂数据背后的联系;将多个视图整合，展示同一数 据在不同维度下呈现的数据背后的规律，帮助用户从不同角度分析数据、缩小答案的范围、 展示数据的不同影响。具备显示结果的形象化和使用过程的互动性，便于用户及时捕捉其关 注的数据信息。 文档 Hadoop大数据分析平台解决方案说明 简介 本文档描述本公司 Hadoop 大数据分析平台解决方案的具体实现细节。本平台采用开源 Hadoop 组件搭建为一个通用目的的大数据分析平台，可用于各领域，包括：教育、医疗、 电信、银行等大数据应用客户。 平台具备如下特点： 1. 一键安装 2. 可视化运行维护 3. 自由的扩展性 4. 完全开源，并于最新的稳定版本同步 5. 无缝集成Hadoop 生态领域的各个数据分析组件 6. 可视化大数据实验环境 方案采用的Hadoop模块列表 ✓ HDFS，用于大规模数据存储 ✓ Yarn，系统资源管理 ✓ Hive，基于Mapreduce 的SQL 数据访问 ✓ Pig，脚本式数据处理 ✓ Storm，流式数据处理 ✓ Spark/Spark Streaming，内存计算框架 ✓ HBase，Key-Value 数据存储 ✓ MapReduce，离线批处理计算框架 ✓ Kafka，消息队列式流失数据接入 ✓ HCatlog，元数据管理 ✓ Ambari ，Hadoop 平台监控、管理界面 ✓ ZooKeeper，保证系统无单点运行 ✓ Oozie，工作流式任务调度 方案的硬件方案 本方案对于硬件没用特别要求，平台可以部署在Amazon 等云服务上，可以部署在实体物理 PC 服务器构成的集群上，也可以部署在基于OpenStack 等其他虚拟节点上。 大数据平台功能列表 在开源 Hadoop 模块的基础上，本公司的hadoop 大数据平台对各模块做了整合，从而形成