大数据 张惠亮 联动大数据处理架构的选择和演进_大数据and人工智能专场.pptx

联动大数据处理架构的选择和演进2017年11月用科技创造人人乐享的生活方式To create a happy lifestyle enjoyed by all people through technology公司介绍2015安派国际主营跨境电商支付联动优势科技公司2003年8月联动优势科技 公司成立，主营运营商 增值业理公司主营业务供应链金融2016海立美达重组上市成为上市公司2011联动优势电子商务公司电商公司成立，主营支付业务业务介绍聚合?付运营商服务惠商营销?控建模跨境?付行业解决方案 互联网 电商 航旅 银行 证券 保险 集贸 物流数据中心1.0定位问题企业内部数据仓库， ?持内部运营数据怎么存、结果怎么查做好选型， 先?起来， 后续优化关键数据中心1.0技术架构DB2HdfsLogsIBM NetezzaHBaseHiveQuery InterfaceWebShowDiagram MailOperation Analysis内部数据中心服务平台2.0问题 1. 维护多个数据平台2. ?法满?实时分析需求3. 缺乏统?的查询??改进 Presto, ES, Storm, Redis, Kafka, Neo4j …内部数据中心服务平台2.0架构集 群 监 控查询解析器数据出?实时处理系统实时运营分析Redis, ES, Neo4j离线处理系统Storm数据消费数据清洗标准化Kafka实时风控系统离线报表统计展示Hadoop,Hive,HbaseDB2LogsDoc数据源…..内部数据中心服务平台2.0-数据查询分析 Query 查询解析器任 务 调 度 系 统RedisESNeo4jHBasePrestoHiveDataHDFS内部数据中心服务平台2.0-实时计算处理触发设定规则Storm实 时 数 据 采 集执?业务逻辑 Kafka业务情况提醒……数据清洗?库 HBaseHDFSRedisESNeo4j大数据服务平台3.0定位 主要满?对外部商户服务挑战 PB， TPS，ms，99.9%场景 信?评估， 反欺诈，?控管理 …解决 数据分层， ?可?， 机器学习， 缓存预处理大数据服务平台3.0数据分级 HBase、 ES 应用层HiveApplication Summary Base 汇总层、分析层、临时提取层 Hdfs、 Hive 近源层、 明细层、历史层大数据服务平台3.0机器学习信用评估反欺诈贷后管理资产定价风险管控大数据服务平台3.0应用组件PrestoMysqlRedisFlumeSqoopElasticSearchZookeeperMahoutPigHiveKafkaSqlStreamingMLlibGraphxSparkHBaseYarnHDFSMrMaster大数据服务平台3.0高可用框架NginxKeepalivedNginxFrontFrontNginxKeepalivedNginxDb2ServiceServiceNginxKeepalivedNginxAccessAccessbackupCountCache联动优势愿景专业服务+多年经验金融科技+行业应用谢谢！