金融科技概论课件第9章.pptxVIP

金融科技概论第九章 大数据征信教学目标了解国内外征信行业概况；掌握大数据征信所需的技术支持；了解大数据征信的发展趋势。目录大数据征信面临的机遇和挑战延伸阅读：Zest Finance案例本章小结国内外征信业发展概况大数据征信的发展趋势大数据征信概述大数据征信的概况 大数据征信的概念大数据征信是指通过对海量的、多样化的、实时的、有价值的数据进行采集、整理、分析和挖掘，并运用大数据技术重新设计征信评价模型算法，多维度刻画信用主体的“画像”，向信息使用者呈现信用主体的违约率和信用状况通过数据分析和模型进行风险评估，依据评估分数，预测还款人的还款能力、还款意愿、以及欺诈风险，更加科学的反映用户的信用状况大数据征信的概况 大数据征信的主要特征覆盖人群广泛信息维度多元应用场景丰富信用评估全面大数据征信的程序与技术应用大数据征信的程序制定数据采集计划征信机构从客户的实际需求出发，确定所需采集数据种类。例如一家银行决定是否对某企业发放短期贷款时，重点关注该企业的历史信贷记录、资金周转情况，按需采集企业基本概况、历史信贷记录、财务状况等采集数据数据一般来源于已公开信息、征信机构内部存档资料、授信机构等专业机构提供的信息、被征信人主动提供的信息、征信机构正面或侧面了解到的信息。出于采集数据真实性和全面性的考虑，征信机构可通过多种途径采集信息，但要兼顾数据的可用性和规模，在适度的范围内采集合适的数据。大数据征信的程序与技术应用大数据征信的程序数据分析数据查证保证征信产品的真实性。一是查数据的真实性，二是查数据来源的可信度，三是查缺失的数据；信用评分运用先进的数据挖掘技术和统计分析方法，通过对个人的基本概况、信用历史记录、行为记录、交易记录等大量数据进行系统的分析，挖掘数据中蕴含的行为模式和信用特征，以信用评分的形式对个人未来的某种信用表现做出综合评估形成信用报告征信机构完成数据采集后，根据收集到的数据和分析结果加以综合整理，最终形成信用报告，报告要保证客观性、全面性、隐私和商业秘密保护等原则大数据征信的程序与技术应用 大数据征信的技术实现征信大数据链的相关方包括：上游的数据生产者、中游的征信机构及下游的征信信息使用者。大数据征信的程序与技术应用征信大数据的上游生产者信用交易数据生产者我国金融服务机构大体可以分为三类：金融机构、类金融机构和互联网金融机构，这三类机构构成了我国的金融服务体系。信用交易数据来源于征信对象通过金融服务机构从事金融活动时所产生的数据大数据征信的程序与技术应用征信大数据的上游生产者商品和服务交易数据以及行为数据生产者一些电商、金融、娱乐、旅游等企业，以及水、电、气、话、教育、医疗等公用服务机构，利用自有的工作机制和网络平台，收集客户买卖商品和享受服务中的基本信息、交易信息和社交行为信息，并对这些数据进行有序加工整理，形成数据库政府公开信息和公共服务信息的数据生产者政府公开信息主要是企业工商注册的信息，主要是行政司法机关掌握的企业和个人在接受行政管理、履行法定义务过程中形成的信息。公共服务信息主要包含工会服务信息、社区服务信息，以及信用中国及地方的信用信息平台的公开信息等大数据征信的程序与技术应用征信大数据的上游生产者通过技术手段爬取或非常渠道获得的其他各种领域的数据对于很多企业来说自身数据积累相对有限，因此通过技术手段，如python网络爬虫技术从互联网渠道爬取。同时科技企业通过客户活动积累了大量的数据，此类数据的种类多样，包含各种行业的行业数据以及企业和个人的信息大数据征信的程序与技术应用中游征信机构的数据加工针对不同的数据群体的不同特点，也要选取不同的处理和解决办法。征信大数据分析技术包括离线数据处理、实时数据处理和数据分析技术等大数据征信的程序与技术应用中游征信机构的数据加工离线数据处理引擎——HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的并行计算框架MapReduce，可以对离线数据提供简单的并行计算处理。Hadoop适合处理几百T这个级别的数据量，并且适用于一次写入，多次读取的场景目前Hadoop主要可以用于用户行为分析、广告效果分析、产品设计分析、商业智能分析、报表统计等大数据征信的程序与技术应用中游征信机构的数据加工实时数据处理引擎——SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，在某些工作负载方面表现得更加优越，不仅优化了迭代工作负载，而且内存计算速度比Hadoop快100倍。构建在Spark上处理实时数据的Stream的框架，基本的原理是将实时数据分成小的时间片断(几秒)，以批量处理的方式来处理这小部分数据，从而实现了实时计算与处理数据流的功能大数据征信的程序与技术应用中游征信机构的数据加工数据分析技术——Python征信大数据应用Pytho