大数据开发平台的搭建.pptx

大数据开发平台的搭建 什么是大数据 大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 大数据 3 大数据处理的需求和特点 大数据平台目标架构 准实时采集 批量采集 Hadoop平台 MPP，基于X86平台 主数据仓库 分布式数据库 基于x86平台 数据采集（云化ETL，流数据处理、爬虫） 数据层 获取层 能力层 精细化营销 智能运营 物联网应用 应用商店 客服应用 基础分析能力 数据挖掘能力 实时分析能力 自助分析能力 多维分析能力 数据共享能力 指标应用 报表应用 主题分析 专题分析 互联网 GN口 半结构化、非结构化数据 BSS 经分 DM VAC MC话单 业务平台 结构化数据 数据源 分布式文件系统 HDFS 记录明细数据 HBase M/R Hive 记录汇总数据 数据统一服务