大数据应用架构和演进路线.pptxVIP

大数据应用架构和演进路线 目录一、产品需求了解和整体规划二、演进路线三、开发及运营能力四、产品运营能力 可视化能力视图分析数据查询引擎数据服务平台指标服务管理系统指标计算服务API服务开发与封装服务管理服务运维与监控可视化产品开发管理平台开发者前台可视化产品组装管理者后台控件、组件、产品管理公共中台服务生态运营管理PC产品门户可视化APPHbase RKHive SQLKylinSpark SQL路由管理数据模型开发指标服务开发与封装组件控件开发SOR层模型DPA层模型统一视图应用指标库会员流量销售服务物流金融财务……产品页面开发平台能力构建数据开发、可视化产品开发诸葛决策支持鹰眼……组件实例化页面组装权限管理组件开发控件开发指标管理服务指标库模型指标审核元数据管理平台 整体应用架构图数据模型层数据封装平台元数据管理平台自助分析开发管理平台诸葛前端门户产品专区主页配置产品展示前端产品展示前端高速数据查询引擎小区交流指标管理服务开发者前台开发管理服务中台组件管理服务组件市场服务产品管理服务权限管理服务管理者后台运营后台系统分类标签管理指标服务浏览组件市场管理产品市场管理Spark SQLKylin监控分析权限管理分业务模型（轻度汇总）统一视图（高度汇总）应用指标库（DM层）明细数据表（SOR层）产品运营能力开发及运营能力数据服务能力公共服务数据封装服务开发管理指标服务浏览指标服务开发原则指标服务组合指标服务服务运维管理指标计算服务日志监控指标库模型数据模型元数据定义指标审核监控分析顾客分析小区管理服务测试验证指标管理指标服务管理组件管理产品组装产品管理监控分析组件、产品性能监控服务产品页面产品页面 建设优先级数据模型层数据封装平台元数据管理平台自助分析开发管理平台诸葛前端门户产品专区主页配置产品展示前端产品展示前端高速数据查询引擎小区交流指标管理服务开发者前台开发管理服务中台组件管理服务组件市场服务产品管理服务权限管理服务管理者后台运营后台系统分类标签管理指标服务浏览组件市场管理产品市场管理Spark SQLKylin监控分析权限管理分业务模型（轻度汇总）统一视图（高度汇总）应用指标库（DM层）明细数据表（SOR层）低优先级高优先级公共服务数据封装服务开发管理指标服务浏览指标服务开发原则指标服务组合指标服务服务运维管理指标计算服务日志监控指标库模型数据模型元数据定义指标审核监控分析顾客分析小区管理服务测试验证指标管理指标服务管理组件管理产品组装产品管理监控分析组件、产品性能监控服务产品页面产品页面高优先级高优先级高优先级高优先级高优先级高优先级 目前数据分析产品开发模式数据开发页面产品开发产品布署和公布缺陷：数据开发缺乏元数据平台支撑，指标的口径管理比较孤立不同数据分析产品定制数据指标，数据指标没有服务化，无法共享；造成数据在不同产品间的一致性差别页面展示没有组件化，页面模块无法反复利用产品优化通道没有建立，缺乏连续改善和提升的输入意见优点开发模式比较简朴，轻易掌握小规模数据分析产品开发有优势 原则数据服务的开发流程数据分析产品开发流程数据分析产品开发新生态汇总模型的建设构建统一业务视图构建标准指标库构建原则指标数据服务控件：数据体现的最小元素数据组件库：基于控件开发和封装页面组装：组件的数据实例化组装产品及公布原则数据服务公布引用原则数据服务非标数据服务后端管理与运营监控与数据采集顾客交流反馈需求与数据分析产品优化与改善 目录一、产品需求了解和整体规划二、数据服务能力三、开发及运营能力四、产品运营能力 原则指标设计原则指标ID指标名称/业务口径描述分析维度组合1分析维度组合2分析维度组合n指标的技术口径A11指标的技术口径B数据仓库轻度汇总表数据明细表指标库高度聚合表指标ID原则指标服务指标名称业务口径分析维度组合指标计算参数技术口径输入输出数据描述/指标值列表指标计算服务一、按ID、分析维度读取元数据服务二、按指标参数组合查询SQL三、调用数据计算引擎原则指标定义 系统及平台定位数据模型层： （连续建设中） 经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清楚而精确的管理；数据存储能够落在Hive、或者DBMS中数据封装平台：（系统新建） 1. 开发管理，基于指标技术元数据封装为原则指标服务，并在此基础上定义组合指标服务 2.提供数据封装服务，响应组件调用 3.公共服务，指标计算服务 4.运维管理服务，性能监控，日志管理等元数据管理平台： （功能扩充） 1.指标库模型定义及数据存储 2.指标库管理服务，如新增、删除、修改；指标库查询服务 3.指标库管理前端功能，指标库新增审核高速数据查询引擎： （系统新建） 对大量数据进行多维度聚合查询的技术组件，追求高性能、高并发量、高扩展性 目录一、产品需求了解和整体规划二