大数据应用实践–vertica技术和案例分享21.pptVIP

惠普大数据驱动IT新形态 软件集团 中国惠普有限公司 在信息化时代，大数据就是石油，这已成为业界的共识！ 大数据：基于海量、多样化的交易数据、交互数据与传感数据，通过快速获取、处理、分析等一系列手段以从中提取价值的技术、产品及服务。 大数据时代到来 大数据分析需要一个统一的解决方案 一个能够分析结构化、非结构化和半结构化的完整数据分析平台 创新的分析用例正在削减结构化、非结构化和半结构化数据量 各行各业都存在着大数据机会 政府 电信 制造 医疗保健 情感分析 社会化客户关系管理/网络分析 减缓客户流失 品牌监控 忠诚度和促销分析 Web应用优化 营销活动优化 品牌管理 社交媒体数据分析 价格优化 内部风险评估 客户行为分析 物流优化 点击流量分析 影响者分析 IT基础设施分析 法律发现 设备监控 企业搜索 药物开发 科学研究 疗效分析 供应链优化 缺陷跟踪 RFID关联 保修管理 广播监控 防止客户流失 广告优化 辅助执法 舆情分析 流量优化 横向用例 资料来源：IDC：2012年“全球大数据技术和服务市场预测：2011年至2015年”；Gartner：2012年”大数据驱动基础设施快速变化，到2016年IT支出将达到2320亿美元” 金融 欺诈检测 防洗钱 风险管理 能源 气象预测 天然资源勘探 惠普大数据分析平台 - HAVEn 大规模分布式 数据存储和处理 Hadoop/HDFS 流程化、索引化所有信息 AutonomyIDOL 实时分析 超大数据集 Vertica 采集和利用 所有机器数据 Enterprise Security HP Software+ n个用户应用 nApps Framework to store and analyze unstructured data 什么是Hadoop? Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS Apache Software Foundation 公司于 2005 年秋天引入项目， Hadoop原本来自于谷歌一款名为MapReduce的编程模型包 Cloudera是一家企业软件公司，该公司在2008年开始提供基于Hadoop的软件和服务 Hadoop是一个开源的，用于分析非结构化数据分析软件平台 Hadoop是可靠、高效和可伸缩的 强有力的数据管理与分析，集成的解决方案 HP大数据核心产品 处理非结构化和“人类”信息数据，无比强大的理解能力 极速高扩展性的实时分析 收集、存户和分析机器数据 管理超大规模的分布式数据 Hadoop/ HDFS 技术支持和咨询服务 HP Hadoop solutions 用户界面 SQL兼容分析 数据处理HP AppSystem for Apache Hadoop HP Hadoop Reference Architectures 语义分析 数据分析 日志 机器生成数据 结构化 Connectors 数据源 ERP, CRM …… 社交媒体 电子邮件 通话记录 视频音频 …… Hadoop Applications Vertica Autonomy 业务用户 Source: HP.com 非结构化 完备的大数据分析平台 结构化数据 过去2个月每周超过5次电话掉线的客户 非结构化数据 Q A 过去3个月中表达过抱怨的客户 Vertica Vertica Vertica 大数据支撑的智能客服 典型案例 常见数据库的定位 数据量 高 低 传统OLTP系统 作业类型 单行数据 实时性 高 低 批量 传统数据仓库 大数据分析 业界最优秀的MPP列式数据仓库: HP Vertica-出自数据之父的Stonebraker -数据库先驱 : Michael Michael Stonebraker Vertica Co-Founder 伯克利加州分校 – 1971 – 2000 Ingres, 1973年，第一个关系数据库，最早运行于DEC Unix，80年代，以BSD 许可免费发行，应用发展迅速，2005年成立独立公司，其中项目成员Robert Epstein基于Ingres的代码开发了Sybase, 随后，Sybase代码作为Microsoft SQL Server基础. Postgres, 80年代Ingres之后，BSD-like 许可，支持面向object relational programming model ，支持optimizer, query language, runtime, and indexing frameworks，从PostgreSQL发展过来的数据库产品有EnterpriseDB, and Greenplum. 也包括Ill