互联网金融的企业大数据之应用.pdf

互联网金融企业的 大数据应用案例分享 联动优势 孟鑫 2013.9 主题 *  概述 *  大数据挑战 *  平台现状 *  HBase应用 *  推荐系统 *  用户信用评分 支付交易监测 概述- 背景 *  2013年第二季度第三方移动支付市场份额11.6% 列第二位 *  某核心业务数据每日1.5亿条 ，实际数据量每日200GB *  互联网支付交易每日200万笔 概述-数据平台建设 *  关系型数据中心 *  基于IBM Netezza和商业BI软件构建 *  支持公司上百个重要业务指标计算和展现 *  2011年上线 *  Hadoop 关系型数据 *  提供海量数据挖掘 ，实时访问服务 中心 Hadoop *  为Netezza提供数据备份、ETL等支持 *  2012年上线 ，规模50+ 大数据挑战- 长期诟病 存储 数据处理 数据访问 数据整合 多备份 日志处理 保存数据范围广 数据共享 成本低 集中计算 响应速度快 智能系统 高可用性 多业务线数据共享 支持高并发访问 基于数据的运营 数据在线 大数据挑战-Hadoop 平台的目标 *  数据恢复在线状态 *  承担大数据的离线统计分析 *  提供海量数据库给非OLTP 系统 *  为智能应用提供数据挖掘支持 平台现状-架构 WEB CLI API REST 集群监控 自动化部署 任务调度 元数据管理 HIVE Mahout Sync4NoSql Flume MapReduce HBase Zookeeper HDFS 平台现状- 线上系统 *  系统规模50+ *  8核 ，128G或32G 内存，SATA硬盘 ，单台16TB ，多网卡 绑定 *  平台基于CDH3U3版本 *  公司内部开放HDFS、Hive、HBase *  基于共享存储的NameNode HA *  Flume tail文件断点续传 *  Hive权限控制 *  数据访问中间层 平台现状- 测试系统 *  目前在测试环境进行Hadoop2.0新特性研究和开发 *  YARN *  基于QJM 的HA *  Hadoop安全 *  HBase 0.94 *  二级索引 *  类SQL 支持 *