大数据平台解决技术方案规划.pptVIP

大数据平台解决方案规划;议题;大数据平台概述;大数据服务能够在哪些方面为企业客户提供价值？;大数据服务面向的三类企业客户;大数据平台的三种服务交付方式;Data Warehouse as a Service数据仓储即服务;;Analytics as a Service分析平台即服务;Analytics as a Service的服务交付方式;Intelligence as a Service 智能即服务;Intelligence as a Service的服务交付方式;议题;系统边界;源数据接口S1-S8;互动接口;三级平台架构;三级平台功能架构;三级平台功能架构（续）;二级大数据平台功能架构;二级平台各层的功能;二级平台各层的功能（续）;集成架构;议题;数据集成在大数据平台中的位置;省级数据集成和二级大数据平台数据集成的关系;数据集成的类型;大数据平台支持的多类型数据集成;传统的BI系统数据ETL存在的难题;基于云计算的非实时并行数据集成的特点;核心技术——分布式存储;Hadoop概述;核心技术——基于Map/Reduce的并行计算;并行计算的流程;基于云计算的并行数据集成模块的功能架构;集成环境 ;与传统ETL比较 —— 容错性与扩展性;物理部署;将文本类非结构化数据转化为结构化数据;核心技术——中文分词;中文分词的核心难点;核心技术——基于数据挖掘的文本分类，将非结构化数据转化为结构化数据;文本分类的核心挖掘算法;文本分类的核心挖掘算法（续）;多类型数据集成;流数据的特点;流数据处理的关键技术——S4分布式流计算平台;S4的特点;技术原理;流数据处理的其它商用产品——IBM StreamBase CEP;流数据处理的其它商用产品——Sybase Aleri Event Stream Processor;流数据集成的应用场景——信令数据处理;议题;VDC虚拟数据中心的IT合理化思路;;通过IaaS架构实现IT资源合理化;IaaS架构的实现：资源管理平台和基础设施云化;1、资源管理平台;资源管理平台的逻辑结构;资源管理平台的功能模块;资源管理平台的特点;资源管理平台的端到端工作流程;2、基础设施云化;基础设施云化可降低能耗、节约电力成本;通过基础设施云化构建绿色数据中心;新一代绿色智能数据中心：模块化数据中心;议题;大数据混合式存储架构概述;从传统的分析型和交易型系统通用的数据库逐步向分析型系统专用的数据库转变;关键技术——列数据库;列式数据库与行式数据库在分析型系统中的性能对比;列数据库的商用产品——Sybase IQ;列数据库的商用产品——HP Vertica;关键技术——MPP数据库;Share-nothing 架构;商用产品——IBM Netezza Appliance;商用产品——EMC Greenplum;大数据存储和处理的关键技术——Hadoop;大数据存储和处理的关键技术——NoSQL;NoSQL的产品——Membase ;NOSQL的产品——MongoDB;大数据存储和处理的关键技术——流数据处理引擎;大数据平台的逻辑数据架构;混合式存储架构;混合式存储架构（续）;议题;;大数据的PaaS平台的用户是第三方应用开发商，在整个大数据平台建设的过程中，为多个应用开发商提供统一的开发环境和应用运行环境，解决了传统分析型系统架构的问题：;PaaS平台的目标;PaaS平台提供的核心开发支撑能力;能力一：统一数据访问和处理引擎;基础支撑能力一：统一数据访问和处理引擎（续）;数据支撑示例——用户六维全息视图;基础支撑能力二：数据挖掘引擎;基础支撑能力三：工作流引擎;基础支撑能力四：数据可视化引擎; P a a S 平 台;;大数据存储处理服务器 大数据存储;统一运行环境—应用容器;(Tomcat/Jetty);支持多开发商的应用部署和管理（续）;平 台 监 控 管 理 服 务 器;和传统的基于本地的开发和部署环境相比，PaaS平台主要有下面这几个方面的优势：;议题;行业解决方案示例;为什么客户的手机等智能终端的上网行为至关重要？;分析用户的手机上网行为可以真正了解客户，帮助中国移动在多个维度上真正实现差异化营销和服务;示例;手机上网行为分析的前提——基于文本挖掘的URL智能分析;保证海量文本数据的挖掘效率和实时性——云计算平台;应用场景示例——基于三类中高端客户的手机上网行为特征实现差异化营销;手机上网行为分析的功能;1 热门网站和应用分析;;案例：通过定制特定网站和应用的流量资费，激发用户使用流量;基于内容偏好的用户分群;2 热门内容分析 ;3 时间-内容相关分析;捕捉最佳营销时机;4 关键字激增识别 ;事件营销;5 内容传播轨迹;引爆点营销;6 区域群体特征;关注某热门内容的用户分布;7 终端升级需求