金融大数据解决方案之我谈.pptxVIP

金融大数据技术解决方案之我谈 演讲者 张天长 大数据背后的技术 金融大数据与传统数仓 议题 构建金融大数据解决方案 大数据解决方案分析实践 大数据平台数据仓库案例 大数据背后的技术 大数据技术起源 4 Google 三大论文 MapReduce / GFS / BigTable Apache Lucene 开源的高性能全文检索工具包 Apache Nutch 开源的 Web 搜索引擎 大数据技术起源 5 Google Hadoop GFS HDFS MapReduce MapReduce BigTable HBase 大数据技术的发展 6 2004年 -- Doug Cutting基于Google论文实现(HDFS/MapReduce)。 2005年12月 -- Nutch移植到新的框架，Hadoop在20个节点上稳定运行。 2006年01月 -- Doug Cutting加入雅虎。 2006年02月 -- Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。 2008年04月 -- 赢得世界最快1 TB数据排序在900个节点上用时209秒。 2008年10月 -- 研究集群每天装载10 TB的数据。 2009年03月 -- 17个集群总共24 000台机器。 2009年04月 -- 59秒内排序500 GB(1400个节点)和173分钟内排序100 TB数据(3400个节点)。 大数据平台集成商 7 Cloudera Hortonworks FusionInsight （华为） Transwarp  （星环） 大数据平台核心组件 8 HADOOP（分布式文件系统HDFS，并行计算框架MapReduce) YARN（Hadoop 资源管理器：计算、内存、带宽等） HIVE （分布式数据仓库，HiveQL 语言，不适合低延迟计算） HBASE（宽表、大表的非结构化数据库） SPARK（具有MapReduce有点，中间结果在内存，语言JAVA、SCALA） ZOOKEEPER（分布式应用程序协调服务） MANAGER（集群管理） Mahout(可扩展的机器学习和数据挖掘库) 金融大数据与传统仓库 金融传统数据仓库 10 报表平台 绩效系统 支付系统 客户360 个人结算账户 回单打印 银企对账 存贷标准化 监管报送系统 内审系统 关联交易 成本分摊 风险监控 外管报送系统 风险预警平台 EAST数据报送 总部一体化 后督 AML反洗钱 。。。。。。 客户风险 大数据部分应用场景 11 网络金融征信 P2P网络贷款市场规模急剧增长 个人征信业务需求不断上升 通过大数据实时分析客户信用记录提升企业价值 小微贷款管理 需要大数据分析提供业务支撑 利用实时数据处理信息管理、交叉营销、信贷模型分析以及业务风险控制的需求不断提升 财富管理评估 利用大数据分析给予用户有价值的财富管理产品组合 使用业态广：银行/财富管理机构/券商/保险 反欺诈预警 渗漏与欺诈风险增加，控制力度和手段不足 缺乏先进的分析能力“实时高效”的甄别可疑理赔行为 客户识别、流失预警 分析识别潜在客户群体、维护老客户、降低客户开发成本成为主要需求 理赔审查评估 骗保识别成为保险业最大问题难点 分析、评估理赔数据有效降低风险并为保险赔付制定提供依据 高频交易分析 量化投资增长迅速，对结构化/非结构化数据利用力度不断加大 实时、准确的数据模型提供有价值的交易推荐，提升客户满意度 保险精算 利用大数据对险种、赔付率建立模型进行细分维度下的精准预测提升企业盈利水平 保险业核心业务需求 实时分析客户信用记录提供贷款依据 大数据提供交叉营销、信贷模型分析 大数据实时分析渗漏欺诈风险 利用外部内部大数据有效管理客户关系 实时建立赔付率模型、并根据客户分析制定险种划分 内外部大数据分析有价值的财富投资组合 数据量化投资组合、建立高效数据模型 理赔数据审查、数据评估，有效降低异常赔付和骗保 大数据在金融领域的热点应用 12 用户画像 风险管理 资产产品定价 运营优化 区块链 智能投顾 风险定价 量化交易 精准营销 金融搜索引擎 金融领域大数据应用热点图 横轴代表该应用领域价值周期，表明该应用价值速度的快慢 纵轴代表该应用领域的炒作周期阶段 圆圈代表应用领域的规模，表示该应用领域当前参与方的多少与应用数量 大数据解决方案分析实践 大数据部分应用分析-某互联网金融产品 14 互联网金融行业在解决什么问题?面临怎样的风险?用 什么样的技术手段来应对? ‒ 传统金融 V.S. 互联网金融 ‒ 信用风险 V.S. 欺诈风险 ‒ 传统风控 V.S. 数据科学技术风控