大数据应用分析Hadoop.ppt

Zions 银行 基于 Hadoop 的大数据应用 ? 数据仓库存储了 120 多个不同类型的数据，包括交易日志，日志 ，欺诈警报，服务器日志，防火墙日志和 IDS 日志 ? 跨整个企业进行数据挖掘，加快取证调查并提高欺诈侦测，以及 整体安全性 ? 利用 Hadoop 来存储所有数据，并对客户交易和现货异常进行判 断，对可能存在欺诈行为提前预警的 ? 基于 Hadoop 的安全数据仓库 , 迅速对来自各种源头的恶意软件威 胁作出响应并对抗它们 美国地区性银行 Zions Bancorp(ZIONS) 32 大数据 挑战 ? 发卡量增长迅速： 2008 年发卡约 500 万张， 2010 年增加了一倍。 ? 业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨胀。 ? 数据存储、系统维护、数据有效利用都面临巨大压力。 需求 可扩展、高性能的数据仓库解决方案 能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析提升信用卡中心的 业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。 采用大数据方案 后价值体现 实时的商业智能 可以结合实时、历史数据进行全局分析 , 风险管理部门现在可以每天评估客户的行为，并 决定对客户的信用额度在同一天进行调整；原有内部系统、模型整体性能显著提高 秒级营销 Greenplum 数据仓库解决方案提供了统一的客户视图，更有针对的进行营销。 2011 年， 中信银行信用卡中心通过其数据库营销平台进行了 1286 个宣传活动，每个营销活动配置 平均时间从 2 周缩短到 2-3 天。 EMC Green- plum 中信银行信用卡中心基于 Hadoop 的大数据应用 未来和基于 Hadoop 的 Pivotal HD 相融合 大数据行业应用分析 —— 电信行业 金 融 行 业 互 联 网 医 疗 行 业 能 源 行 业 电 信 行 业 政 府 行 业 3 Sept 2008 ? NEUSOFT SECRET 基于 Hadoop 的大数据应用分析 5. 东软基于 HADOOP 的大数据应用建议 内容提要 1. 大数据背景介绍 2. HADOOP 体系架构 3. 基于 HADOOP 的大数据产品分析 4. 基于 HADOOP 的大数据行业应用分析 IDC 定义：为了更 为经济的从高频率 获取的、大容量的、 不同结构和类型的 数据中获取价值， 而设计的新一代架 构和技术。 大数据定义及特点 大数据对系统的需求 ? High performance –高并发读写的需求 高并发、实时动态获取和更新数据 ? Huge Storage –海量数据的高效率存储和访问的需求 类似 SNS 网站，海量用户信息的高效率实时存储和查询 ? High Scalability High Availability –高可扩展性和高可用性的需求 需要拥有快速横向扩展能力、提供 7*24 小时不间断服务 商业模式驱动 应用需求驱动 ? 云计算改变了 IT, 而大数据则改变了业务 ? 云计算是大数据的 IT 基础，大数据须有云计算作为基础架构，才能高效运行 ? 通过大数据的业务需求，为云计算的落地找到了实际应用 大数据和云计算的关系 大数据 云计算 大数据市场分析 1 2011 年 -2016 年中国大数据市场规模 2 各行业大数据市场规模 ? 政府、互联网、电信、金融的大数据市场规 模较大，四个行业将占据一半市场份额。 ? 由于各个行业都存在大数据应用需求，潜在 市场空间非常可观。 ? 2011 年是中国大数据市场元年，一些大数据 产品已经推出，部分行业也有大数据应用案例 的产生。 2012 年 -2016 年，将迎来大数据市场 的飞速发展。 ? 2012 年中国大数据市场规模达到 4.7 亿元， 2013 年大数据市场将迎来增速为 138.3% 的飞 跃，到 2016 年，整个市场规模逼近百亿。 5. 东软基于 HADOOP 的大数据应用建议 内容提要 1. 大数据背景介绍 2. HADOOP 体系架构 3. 基于 HADOOP 的大数据厂商分析 4. 基于 HADOOP 的大数据行业应用分析 大数据主要应用技术—— Hadoop ? 据 IDC 的预测，全球