大数据技术应用实施方案建议.pptVIP

学习 · 创造 · 超越 · 共享 学习 · 创造 · 超越 · 共享 * 学习 · 创造 · 超越 · 共享 * 学习 · 创造 · 超越 · 共享 * 大数据技术应用实施方案建议 信息技术管理部 2013年6月 * 第一页，共二十一页。 目录 我行新一代数据集成平台能力要求 业内大数据技术的特性及应用研究 我行大数据技术的应用策略 * 第二页，共二十一页。 新一代管理分析类应用需求 * 运营与信息安全 运行日志存储与分析 安全日志存储与分析 营销支持 加强客户洞察分析，实现灵活深入的客户细分； 科学的客户行为及渠道经营分析 报告与决策 全面的计划预算管理 价值导向的管理会计； 流程化的财务会计体系 集成高效的财务运作 及时、准确的财务报告 风险管理 满足新协议合规和内部管理需要的全面风险管理体系 市场风险、信用风险、操作风险等全面的风险计量； 风险建模 监管合规支持 全面整合的反洗钱和欺诈风险管理； 监管合规长时间保存数据需求； 审计供数； 非结构化数据保存 数据管控支持 数据完整、全面（广度、深度）； 数据可信； 数据易用； 数据生命周期管理 应用需求 新一代管理分析类应用对于大数据处理分析技术提出了高要求 第三页，共二十一页。 新一代数据集成平台数据特点与挑战 * 大数据时代，技术面临着Volume、Variety、Velocity 3V的挑战 第四页，共二十一页。 目录 我行新一代数据集成平台能力要求 业内大数据技术的特性及应用研究 技术特性研究 技术应用研究 我行大数据技术的应用策略 * 第五页，共二十一页。 大数据技术一览图 * 大数据技术主要包含应用领域（如商务智能）、基础设施领域（结构化数据库技术、分析型数据技术等）和基础技术领域的各种相关技术。 第六页，共二十一页。 重点调研的相关大数据存储技术产品调研 TD Aster Data 基于商用硬件的分布式数据库技术 HADOOP技术 对于大数据技术、产品的调研分两类进行，即关系型数据库与非关系型技术，前者以基于X86的MPP技术为代表，后者以HADOOP技术为代表 第七页，共二十一页。 大数据技术特性研究结论 * 分析维度 X86 MPP HADOOP 数据特性 仅支持结构化数据 支持非结构化、半结构化、结构化数据 扩展性 可扩展至数百节点 可扩展至数千个节点 数据可靠性 每份数据只有一个备份 每份数据可有多个备份 产品成熟度 介于传统关系型数据库与HADOOP之间 新技术，产品与技术均不成熟 易开发性 相对容易 与传统数据库差异较大，开发复杂 运维管理 缺少统一的运维管理工具 复杂，缺少统一的运维管理工具 人员技能要求 一般，仅需熟悉传统关系型数据库 高，需要对产品、技术及程序设计有深入理解 基于X86的MPP技术与传统分析型数据库的差异不大，但是提供了良好的扩展性，适合替代现有技术进行关系型数据的分析 HADOOP技术支持的数据类型多，扩展性强，适合海量非结构化的数据分析，但技术不成熟，需逐步试点 第八页，共二十一页。 目录 我行新一代数据集成平台能力要求 业内大数据技术的特性及应用研究 技术特性研究 技术应用研究 我行大数据技术的应用策略 * 第九页，共二十一页。 美国银行大数据技术应用情况 * 技术类型 产品 系统/机柜数 集群容量 (PB) 数据量 (PB) 应用领域 使用案例 专有一体机 Teradata 24 5 3.1 数据仓库 企业/集中式数据仓库 Netezza 80+ 2.8 1.1 数据集市 OLAP Exadata 10+ 1 0.08 数据集市（OLAP 和 OLTP混合） 全球人力资源部、CRC（客户报告中心：22TB）、AMT 基于商用硬件的分布式数据库 Vertica 2 0.57 0.34 数据集市 OLAP Hadoop技术 Cloudera Hadoop 若干 1.6 1.6 ETL 集团DW 、电子商务、信用风险 数据暂存与归档 银行卡系统过期数据归档；集团数据仓库数据归档 信息安全 数据库、防火墙、应用程序等日志存储与分析 风险分析 定量风险技术 (最大的Hadoop应用集群，173台机器，1.6PB未压缩数据)、欺诈检测 沙箱分析 　 美国银行在数据集市领域大量使用X86 MPP技术，HADOOP主要用于ETL、数据归档、日志分析及风险分析等应用 第十页，共二十一页。 美国银行未来大数据技术应用 * 产品 美国银行的最佳定位 战略性产品 IBM Netezza 纯分析性的工作量的首选解决方案。高性能和高扩展性。费用较低，比 Exadata 或 Teradata 更容易进行管理。并发性方面的局限，使其适用于数据市场，或可能适合小型部门的数据仓库。 是 Oracle Exad