大数据技术交流37.pptVIP

大数据平台技术交流 吴敏达 – 资深技术顾问 2 从各种各样类型的巨大数据中，快速获得有价值信息的能力，就是大数据技术 什么是大数据 Variety: 管理复杂的多角度关系和非关系类型的数据 （你是否忽略利用的非结构化数据进行决策吗） Velocity: 流数据或者大量数据的移动 （你是否希望通过实时操作提供更好的结果） Volume: 数据量从TB级到ZB级 （你是否收集了所有数据，并在使用它吗） Veracity： 1/3 的领导在做业务决策时候不相信获得的信息 大数据参考架构 超越传统的数据仓库概念 流计算 Internet 级别 传统 数据仓库 In-Motion Analytics Data Analytics, Data Operations Model Building Results Internet Scale Database Warehouse At-Rest Data Analytics Results Ultra Low Latency Results InfoSphere BigInsights 传统/关系型 数据源 非传统/非关系型 数据源 传统/关系型 数据源 非传统/非关系型 数据源 Cloud | Mobile | Security IBM大数据平台和应用框架 通过可视化的方法 采集、抽取、以及探查数据 应用加速器，加速应用开发，快速实现分析价值 BI / Reporting BI / Reporting Exploration / Visualization FunctionalApp IndustryApp Predictive Analytics Content Analytics Analytic Applications（分析应用） IBM Big Data Platform（大数据平台） Systems Management Applications Development Visualization  Discovery 分析流数据，以及在大数据的是谁数据洞察 数据管控 （数据质量、生命周期、……） 低成本地分析PB级结构化和非结构化数据 操作型数据或者历史数据的，基于数据仓库内嵌分析 索引和联邦的上下文相关分析 议程 IBM hadoop平台－BigInsights IBM 流计算－Streams IBM数据仓库平台－pure Data 基于大数据平台的数据分析-DataExplorer IBM大数据优势汇总 6 Forrester Wave关于大数据的报告 BigInsights 企业版 连接和集成 基础架构 可选 IBM 产品 分析和探查 应用 . . . 管理和开发工具 管理控制台 Monitor cluster health, jobs, etc. Add / remove nodes Start / stop services Inspect job status Inspect workflow status Deploy applications Launch apps / jobs Work with distrib file system Work with spreadsheet interface Support REST-based API . . . Eclipse 开发工具 Text analytics MapReduce programming Jaql, Hive, Pig development BigSheets plug-in development Oozie workflow generation IBM GPFS –FPO BigInsights 优势列表 High Performance Availability GPFS-FPO At least 2X faster than open source Hadoop 17x throughput speedup for document index lookups Fault resistance for Real Time Data POSIX Adaptive MapReduce SQL Interface ( BigSQL ) Integrated Install Mgt Consoles Security LDAP+ High speed LZO Compression Development Tooling environment, testing, and optimization Warehouse RDBMS Streams Integration SystemT –