信贷业务持续创新当中的大数据风控架构_架构师峰会_北京站.pptx

信贷业务持续创新中的大数据风控架构张军宜信大数据创新中心张军大数据创新中心 工程总监负责宜信大数据风控平台张军2005年硕士毕业于哈尔滨工业大学计算机科学与技术专业。 之后加入富士通 研发中心 ,先后从事自然语言处理、 云计算等技术的研发 :带领团队开发了舆情 监控 ,企业服务融合 ,业务决策管理等等多项在实际业务上产生重大影响的系统。 2014年张军加入百度 ,参与了百度核心的搜索排序系统由规则系统向深度学习系 统转型的研发过程 ,上线了大幅提升长尾Query的搜索效果的RNN排序模型 :之 后 ,张军带领团队研发了百度内部的深度学习平台Lego ,该平台应用在百度大搜 索体系内的搜索排序 ,信息流 ,点击预估 ,机器翻译等等多项核心业务当中。 同 时 ,张军还拥有三十余件发明专利。· 持续的信贷业务创新对风控技术带来的挑战· 存量信贷数据的数据整合和使用· 风险政策与模型的快速迭代 :决策引擎· AI在风控当中的应用· 案例分享 :商通贷关于宜信 2006 年宜信公司成立于北京 ,今天的宜信已经成为中国的金融科技领军企业 ,业务涵盖 普惠金融、财富管理、 资产管理 三大板块 ,年交易规模超过1000亿宜信财富/资管创始人 唐宁财富管理、 资产管理10万+高净值客户及机构客户创立时间 2006版图覆盖 全国 40余个城市 香港、 新加坡、 美国、 英国、 澳大利等地设立团队及办公室总部所在地 北京经营行业 - 金融服务、 普惠金融、 财富管理、 资产管理、 金融科技年交易规模 超过1000亿员工人数 45,000人资产配置 覆盖私募股权、 资本市场、 房 地产、 保险保障、 税务规划、 移民置业、 高端游学等全方位产品和服务借款人客户数量 200万+持续创新的信贷业务· 信用借款 :基础信贷、 车主贷、 房主贷、 商易贷、 宜学贷· 抵押借款 :车抵贷、 宜房贷· 电商融资 :商通贷· 供应链金融 :商超贷、 翼启融· 线上信贷 (宜人贷) :极速模式、 精英模式、 寿险模式· 其他孵化当中的创新的信贷产品贷后管理信用审核合规检测反欺诈风险存在于信贷业务的各个环节业务 城市信贷、宜人贷、商通贷、车贷、 … … 环节技术数据业务数据公开数据用户提交数据机器学习决策平台用户画像数据准备知识图谱语义分析营销大数据风控的风险决策开发典型流程持续的信贷业务创新对风控技术带来的挑战· 产品不同阶段对风控的需求· 风控的类型 :信用风险、 欺诈风险、 操作风险· 存量数据的有效利用 :实时数据服务和离线数据分析· 风险政策和模型的全生命周期管理· 用AI来赋能数据的管理、 治理、 和服务. 需求 :离线的数据分析 :实时性的风险政策. 高实时性的数据流转方案. 数据仓库体系. 外部数据源的管理. 数据的有效组织的知识图谱HbaseFiles数据服务 :实时整合各环节数据 ,并提供消费restful API1. Data Cook工具 ,对异构数据的整理、 清洗、 合并2. 全量字段mapping管理3. schema统一视图4. Azkaban任务调度5. spark实时流式处理做到准实时数据同步6. Restful的数据服务API供下游系统使用HiveKnowledge Graph + 业务逻辑数据建仓Hbase (CookedData)ElasticsearchHbase(RawData)Hbase(KG)知识图谱 三元组spark 8MR jobsqoop Load Cook Merge JsON-Cook-LibHadoopMysqlspark job 8streamingsparkOracle外部业务数据同步 (全量/增量) 数据整合处理 (全量/增量)保存中间结果知识索引DBus 实时数据总线RDBMS……………………………数据源DBus (寓意数据管道)专注于数据的收集及实时流计算 ,以无侵入方式 对源端数据进行采集 ,采用高可用流式计算框架 , 对数据进行汇聚 ,转换处理。 以统一数据格式(UMs )提供给不同数据使用方订阅和消费 , 充当数仓平台、 大数据分析平台、 实时报表和实 时营销等业务的数据源主要特性 :. 无侵入方式接入多种数据源. 海量数据实时传输. 感知源端schema变更. 数据实时脱敏. 高效的初始化加载和重新加载. 统一标准化消息传输协议. 可靠多路消息订阅分发. 可视化后台管理系统. 支持分表数据汇集. /BriData/DBusHeartBeat 心跳预警模块Log extractor 日志抽取模块Full Splitter 分片模块DBus-Web 部署 配置 管理Zookeeper存储层Dispatcher 分发预处理模块DBus MgrStatistic 实时监控模块KAFKASt