大数据实时流处理平台_光环大数据培训精选.pdf

光环大数据--大数据培训知名品牌 大数据实时流处理平台_光环大数据培训 大数据平台解决了大数据特征中四个V 的大数据量（Volume）的处理，我们 还需要引入实时处理技术能覆盖数据多样性（Variety ），高速处理数据 （Velocity），从而挖掘更大的价值（Value）。数据的价值随着时间的流逝而降 低，如何在技术上提供支撑，发挥以日志为代表的行内实时数据和付费购买或者 免费爬取的海量互联网数据在商业银行业务中的价值是亟待解决的问题。变现， 是硬道理！换句话说，我们需要将ETL、业务建模、机器学习、可视化扩展到实 时数据，将与风险管理、客户营销相关的数据和计算规则从银行关键业务系统里 面解耦，对相关业务应用提供完整的支撑。 周期/节奏 2015 年9 月至11 月，大数据实时流处理平台可行性分析，技术组件选型。 2015 年11 月，项目启动。 2015 年12月，完成总体需求分析，确定平台的主要业务目标是在运营监控、 反欺诈、客户行为分析、风险预警方面提供实时数据支持。 2015 年12 月-2016 年8 月，完成平台设计和基础组件的实施、投产。 2016 年 8 月-今，对基础组件进行优化和补充，对业务应用开发提供支持， 配合 IT 运营实时监控、客户点击流、交易反欺诈、贷后预警等与实时数据相关 的应用建设。 客户名称/所属分类 光环大数据 光环大数据--大数据培训知名品牌 恒丰银行/大数据技术服务 任务/ 目标 同互联网公司相比，传统商业银行在业务种类、交易模式、监管要求方面都 大大不同，我们针对行内业务需求设计了以下功能架构：流处理平台提供基础的 数据采集、接收、过滤解析、实时规则计算、存储和分析挖掘功能，以此为基础 构建实时营销平台、实时风险预警平台进行业务逻辑加工，行内的各个渠道系统、 信贷系统、IT 运营监控系统、运营风险监测通过订阅方式获得实时处理后的数 据，满足IT 运营实时监控、客户行为分析、交易反欺诈、授信评审与贷后预警、 运营风险监测等方面的业务需求。 当前的实时数据源主要包括业务系统的应用日志，企业消息总线关联交易日 志，第三方数据公司实时推送数据，网络设备、操作系统、中间件日志，数据库 日志，外部网站爬虫信息，流处理平台要负责实现以下目标： ●各类基础数据的实时采集，过滤解析； ●根据业务应用需要提供基础数据实时加工功能； ●同时支持简单和复杂业务逻辑规则模型，支持基于流数据的实时分析； ●便于与异构系统集成，实现数据共享，要包含与主流的流计算框架、各类 数据库、前端框架、消息中间件设施、主流接口协议； ●海量数据的持久化存储和快速检索； 光环大数据 光环大数据--大数据培训知名品牌 ●提供平台级别的数据管理功能，包括数据脱敏、用户权限、数据时效管理 和分级存储等方面功能。 挑战 大数据实时流处理平台在实际实施过程中主要面临以下技术难点： 1.如何实现流处理系统在可伸缩性、系统容错、高可用性、弹性部署、差异 服务管理、吞吐性能方面的要求。 ●平台资源方面：使用物理机服务器和传统的虚拟机技术无法根据数据流量 和计算任务量实现资源层面快速扩容；对计算、存储、网络等资源管理不够精细， 资源申请周期长，资源的可用性低。 ●应用架构方面：如果采用传统的单体应用架构，由于Socket 连接方式、 线程服务模型、锁冲突、同步 IO 阻塞等原因，在并发处理能力上先天不足；大 数据微服务架构又会面临编程学习和开发成本高，并且框架对异步并行调度、服 务质量管理方面支持不足的问题。 ●开发体系和工具方面：流处理平台组件繁多，迭代频率高，服务质量管理 更精细，现有的开发体系和工具无法在实施的各个阶段实现有力支撑。 2.如何构建高性能、高可用性，覆盖所有业务需求数据