大数据技术应用实施方案建议-V0.pptxVIP

大数据技术应用实施方案建议信息技术管理部2013年6月目录我行新一代数据集成平台能力要求业内大数据技术的特性及应用研究我行大数据技术的应用策略新一代管理分析类应用需求新一代管理分析类应用对于大数据处理分析技术提出了高要求营销支持加强客户洞察分析，实现灵活深入的客户细分；科学的客户行为及渠道经营分析风险管理 满足新协议合规和内部管理需要的全面风险管理体系市场风险、信用风险、操作风险等全面的风险计量；风险建模报告与决策全面的计划预算管理 价值导向的管理会计；流程化的财务会计体系 集成高效的财务运作 及时、准确的财务报告应用需求监管合规支持全面整合的反洗钱和欺诈风险管理；监管合规长时间保存数据需求；审计供数；非结构化数据保存数据管控支持数据完整、全面（广度、深度）；数据可信；数据易用；数据生命周期管理运营与信息安全运行日志存储与分析安全日志存储与分析新一代数据集成平台数据特点与挑战大数据时代，技术面临着Volume、Variety、Velocity 3V的挑战目录我行新一代数据集成平台能力要求业内大数据技术的特性及应用研究技术特性研究技术应用研究我行大数据技术的应用策略大数据技术一览图大数据技术主要包含应用领域（如商务智能）、基础设施领域（结构化数据库技术、分析型数据技术等）和基础技术领域的各种相关技术。重点调研的相关大数据存储技术产品调研对于大数据技术、产品的调研分两类进行，即关系型数据库与非关系型技术，前者以基于X86的MPP技术为代表，后者以HADOOP技术为代表TD Aster Data基于商用硬件的分布式数据库技术HADOOP技术大数据技术特性研究结论分析维度X86 MPPHADOOP数据特性仅支持结构化数据支持非结构化、半结构化、结构化数据扩展性可扩展至数百节点可扩展至数千个节点数据可靠性每份数据只有一个备份每份数据可有多个备份产品成熟度介于传统关系型数据库与HADOOP之间新技术，产品与技术均不成熟易开发性相对容易与传统数据库差异较大，开发复杂运维管理缺少统一的运维管理工具复杂，缺少统一的运维管理工具人员技能要求一般，仅需熟悉传统关系型数据库高，需要对产品、技术及程序设计有深入理解基于X86的MPP技术与传统分析型数据库的差异不大，但是提供了良好的扩展性，适合替代现有技术进行关系型数据的分析HADOOP技术支持的数据类型多，扩展性强，适合海量非结构化的数据分析，但技术不成熟，需逐步试点目录我行新一代数据集成平台能力要求业内大数据技术的特性及应用研究技术特性研究技术应用研究我行大数据技术的应用策略美国银行大数据技术应用情况美国银行在数据集市领域大量使用X86 MPP技术，HADOOP主要用于ETL、数据归档、日志分析及风险分析等应用技术类型产品系统/机柜数集群容量 (PB)数据量 (PB)应用领域使用案例专有一体机Teradata2453.1数据仓库企业/集中式数据仓库Netezza80+2.81.1数据集市OLAPExadata10+10.08数据集市（OLAP 和 OLTP混合）全球人力资源部、CRC（客户报告中心：22TB）、AMT基于商用硬件的分布式数据库Vertica20.570.34数据集市OLAPHadoop技术Cloudera Hadoop若干1.61.6ETL集团DW 、电子商务、信用风险数据暂存与归档银行卡系统过期数据归档；集团数据仓库数据归档信息安全数据库、防火墙、应用程序等日志存储与分析风险分析定量风险技术 (最大的Hadoop应用集群，173台机器，1.6PB未压缩数据)、欺诈检测沙箱分析　美国银行未来大数据技术应用结构化数据分析领域，Netezza、Exadata、Vertica、Teradata及Sybase IQ是美国银行未来的战略产品产品美国银行的最佳定位战略性产品IBM Netezza 纯分析性的工作量的首选解决方案。高性能和高扩展性。费用较低，比 Exadata 或 Teradata 更容易进行管理。并发性方面的局限，使其适用于数据市场，或可能适合小型部门的数据仓库。 是Oracle Exadata 适用于 I/O 要求极为严苛并需要 20 TB 以上的交易/分析混合工作量。能够处理同一系统中的多种工作量。也可视为适用于 20 TB 以上的分析数据库（目前运行的是标准 Oracle 数据库），因为它比 Netezza 更容易移植是Vertica (HP) 作为一种新兴的主要候选方案，可替代 Netezza 和 Exadata，为大型数据市场或部门数据仓库（20 TB 以上）提供基于商品的列式数据库。通过创新的写优存储和读优存储以及经验证的 PB 级别，扩展架构。在美国银行进行了两项重大且成功的实施。 是Sybase IQ (SAP) 列存储的首个商业实施。稳定、成熟的产品。许可交易使