大数据银行应用.pptVIP

几个基本概念 模型（Model） vs 模式（Pattern） 数据挖掘的根本目的就是把样本数据中隐含的结构泛化（Generalize）到总体（Population）上去 模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的所有点，例如聚类分析 模式：对数据集的一种局部性的有限特征的描述或概括，适用于数据空间的一个子集，例如关联分析 算法（Algorithm）：一个定义完备（well-defined）的过程，它以数据作为输入并产生模型或模式形式的输出 描述型挖掘（Descriptive） vs 预测型挖掘（Predictive） 描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征 预测型挖掘：根据观察到的对象特征值来预测它的其他特征值 描述型挖掘可以是目的，也可以是手段 第三十一页，共四十六页。 数据挖掘是一个过程 “from data mining to knowledge discovery in database”. U. fayyad, G.P.Shapiro and P.Smyth (1996) 第三十二页，共四十六页。 工欲善其事必先利其器 数据清洗 填充缺失值, 修均噪声数据, 识别或删除孤立点, 并解决数据不一致问题 主要分析方法：分箱（Binning）、聚类、回归 数据集成 多个数据库、数据方或文件的集成 数据变换 规范化与汇总 数据简化 减少数据量的同时, 还可以得到相同或相近的分析结果 主要分析方法：抽样、主成分分析 数据离散化 数据简化的一部分, 但非常重要 (尤其对于数值型数据来说) 第三十三页，共四十六页。 先来玩玩数据（EDA） 探索性数据分析（Exploratory Data Analysis, EDA） 探索性地查看数据，概括数据集的结构和关系 对数据集没有各种严格假定 主要任务 数据可视化（a picture is worth a thousand words） 残差分析（数据＝拟合 + 残差） 数据的重新表达（什么样的尺度－对数抑或平方根－会简化分析） 方法的耐抗性（对数据局部不良的不敏感性，如中位数耐抗甚于均值） 常见方法 统计量，如均值、方差、根方差、协方差、峰度、偏度、相关系数等 统计图，如饼图、直方图、散点图、箱尾图等 模型，如聚类 第三十四页，共四十六页。 数据挖掘 = 模型 + 算法 分类预测 关联规则 孤立点探测 聚类 Logistic Regression 决策树 神经网络 K-Means K-Mode SOM（自组织图） Apriori FP-Growth 基于统计 基于距离 基于偏差 第三十五页，共四十六页。 大数据应用 第一页，共四十六页。 主要内容 大数据在银行业的应用场景 未来银行业的发展趋势 在大数据背景下面临的挑战 第二页，共四十六页。 你使用过信用卡吗？ 卡应该发给谁？ 哪些持卡人会拖欠？ 哪些拖欠的客户会还款？ 影响 资产组合 （Portfolio） 1、根据历史，预测将来 2、目标是一个分类变量 3、预测结果是一个统计意义下的概率 1、哪些人可以发卡，额度是多少？ 2、持卡人拖欠的概率是多少？ 3、该对谁催收？ 第三页，共四十六页。 第四页，共四十六页。 技术和数据平台：可以加深对消费者的了解、增强针对性以及提高利润。 　　数据科学——深度学习、大批量处理以及实时分析。 　　数据库———独有的分布式相关数据库。 　　安全————为交易安全提供有力保护。 　　搜索————能生成个性化结果的搜索引擎。 　　定向营销——给消费者加标签，提高针对性。 　　移动————提供多台设备之间流畅无缝的数据和服务体验。 第五页，共四十六页。 大数据时代银行业的应对策略 第六页，共四十六页。 银行业开始尝试接入和整合外部数据资源 第七页，共四十六页。 国际同行业 大数据运用的 经验教训 加强数据管控 防范欺诈 分析预测客户及交易对手行为 快速判断宏观经济形势 改进内部效率 第八页，共四十六页。 以大数据技术促进智慧银行建设 推动大数据应用的策略 建立完善的 大数据工作 管理体系 增强数据挖掘与分析运用能力 建立基于 大数据分析 的定价体系 依托大数据 技术提升风险管理水平 第九页，共四十六页。 大数据在银行业的应用场景 客户管理 营销管理 风险管理 银行需要借助由大数据构建的企业经营全景视图来进行活动，进而寻找最优的模式支持商业决策。 第十页，共四十六页。 银行可以通过大数据分析平台，接入客户通过社交网络、电子商务、终端设备等媒介产生的非结构化数据 客户进行分类 根据用户行为对用户进行聚类分析，进而可以有效的甄别出优质客户、潜力客户以及流失客户 社交网络 电子商务 其他终