基本征信数据挖掘剖析.docVIP

基本征信数据挖掘剖析 　　摘要：文章首先介绍数据挖掘的基本概念和处理步骤，然后讨论征信系统和数据挖掘的关系，认为征信机构作为数据工厂，数据挖掘的各种方法都可以找到很好的应用场景，通过广泛和深入地开展征信数据挖掘，能够更好地为量化信用风险管理服务。文章梳理出征信系统数据挖掘的基本框架，着重探讨基本征信数据挖掘：一方面处理的是基于信贷行为的基本数据；另一方面应用的是基本的、传统的数据挖掘方法。根据数据挖掘方法论的不同，文章介绍相应的信用风险数据挖掘应用，并结合国际征信机构的先进经验，给出具体应用案例。文章最后指出在征信机构全面开展数据挖掘的工作，不仅可以提高征信服务水平，还可为大数据时代的到来打下良好的基础。 　　关键词：数据挖掘；征信系统；信贷行为；信用风险管理 　　一、 问题的提出 　　数据挖掘（Data Mining，DM）又称知识发现（Knowledge Discover in Database，KDD），是指从数据集合的海量数据中揭示出隐含的模式、发现先前未知的并有潜在价值的信息和知识的过程（Jiawei Han，MichelineKamber，Jian Pei；2012）。由于数据挖掘在应用过程中可以帮助商业决策这调整市场策略，评估风险，获得洞察力并进行正确决策，目前已经是人工智能和数据库领域研究的热点问题。随着大数据时代的到来，数据挖掘技术已成为许多互联网和零售企业的重要支撑技术和核心竞争力之一，并被广泛地应用到管理和社会学科等诸多领域。对作为天然就具有大数据和云计算特征的征信业而言，数据挖掘技术的地位和重要性不言而喻。目前国外征信机构正在广泛利用数据挖掘技术，进行信用风险管理方面的产品开发，申请了许多关于数据挖掘的专利授权，并开发出多种数据挖掘产品。数据挖掘技术已经成为它们的核心竞争力，例如益佰利（Experian）、艾克飞（Equifax）、环联（Trans Union）和邓白氏（Dun Bradstreet，DB）等。 　　结合信用风险管理的目标：对个人消费者和企业的风险进行评估，减少交易过程中的信息不对称，本文将征信数据挖掘的基本步骤叙述如下： 　　步骤一：确定商业目标。该步骤主要是确定数据挖掘所要解决的具体问题，比如发现信用风险特征、欺诈风险特征、客户流失特征等；确定征信数据挖掘问题的覆盖范围，比如房贷产品、信用卡产品或汽车贷款产品等。商业目标不仅指明了数据挖掘方向，也是衡量数据挖掘效果的关键要素。 　　步骤二：数据采集。首先确定数据挖掘所涉及的具体数据库或者数据来源渠道，例如申请数据库、客户基本信息数据库、交易数据库、市场营销数据等，其次确定通过何种技术手段获取这些有用的数据以及数据的有效期。 　　步骤三：数据清洗。消除噪声和删除不一致的数据，进行数据质量检查，确保数据可靠。数据质量是数据挖掘的前提和生命。若数据质量不高，即使数据挖掘的技术再先进，耗费的功夫再大也无济于事。 　　步骤四：数据整合和转换。即将多种数据源整合在一起，把数据变换和统一成适合挖掘的形式，例如数据类型和数据格式的转换，缺省值和极值的处理。 　　步骤五：数据挖掘。使用模式识别或机器学习的方法以及计算机信息处理手段，对大量数据进行加工和分析，来提取数据模式或者是系统性的模型。数据挖掘既高度依赖先进的统计方法和计算机技术，也高度依赖数据分析人员的专业知识和经验。这是数据挖掘的核心。 　　步骤六：性能评判。并不是所有挖掘出来的模式或者模型都是有效的，根据某种指标度量（显著性检验、准确性检验或者某种测度），确定挖掘结果是合乎逻辑、合乎情理和合乎直觉的。 　　步骤七：将数据挖掘的结果用于决策分析。根据数据挖掘的结果做出相应的决策建议，例如改进风险管理策略、改进市场营销策略、改进客户服务策略等，以提高经营管理的效益，实现数据挖掘的商业价值。 　　步骤八：数据挖掘结果应用。挖掘所获得知识（模式、模型、规律、策略等），最终需要付诸于应用，以产生现实的经济效益。往往通过挖掘人员和IT技术人员合作，开发一些计算机应用系统来实现。 　　步骤九：数据挖掘的跟踪和提高。数据挖掘是一个不断发现、不断总结、不断提高的过程。需要对数据挖掘的应用进行跟踪和反馈，分析问题，提炼经验，并且不断地更新迭代。例如个人信用评分的模型每年都要重新挖掘和训练。 　　二、 数据挖掘技术在对外的风险管理服务中的应用 　　1. 聚类分析在对外的风险管理服务中的应用。聚类分析（Clustering Analysis），也称为自动分类，利用信用主体的信贷行为特征，根据（信贷行为、风险模式、信用主体基本信息）相似性的原则，自动归类，划分信用主体群（也称为类）。信用主体的类可以描述一种特定的信用风险模式。聚类分析是面向信用风险管理的数据挖掘的基本方法。