新型BI架构思考及PG中的实现.pdf

新型BI架构思考及PG中的实现 洞庭湖的泥鳅（黄坚） 湖南红手指信息技术有限公司 广州天源迪科信息技术有限公司 中国用户大会 自我介绍 •2001年毕业于湘潭大学，企业管理专业 •曾经就职于新太科技、从兴电子、广州中 科技、广州天源迪科 •参与过运营商的BSS、OSS、服务网关、 电商系统、数据中心系统的开发以及其他 一些管理型系统的开发 •现在在创业，湖南红手指，CTO • 《PostgreSQL从菜鸟到专家》翻译 • 《PostgreSQL 9 Administrator Cookbook》翻译 Postgres Conference China 2015 中国用户大会 主题 •BI系统简介 •传统BI系统架构的优缺点 •新型BI架构的一些思路 •利用新型BI架构的系统实际情况汇报 •利用PostgreSQL实现该架构的思路 Postgres Conference China 2015 中国用户大会 BI系统简介 •BI体系的核心 –维度：不可运算的，可层级化的类别属性 –指标：可运算的数值 –域：大的主题 •BI系统提供的主要功能 –在维度上，对指标进行各种运算 Postgres Conference China 2015 中国用户大会 BI系统简介 BI应用、CRM、网站、财务系统 BI应用系统 BI平台、数据分析工具、OLAP、DM…. DW BI系统基础 ETL ODS 事物处理系统 BOSS系统 计费系统 业务平台 Postgres Conference China 2015 中国用户大会 传统BI系统简介—典型的数据粒度 层次关系 l 各个源系统的原始数据经过第一次ETL加工后进入到中心数据仓库。 在中心数据仓库内经过加工汇总等运算对上层应用提供数据服务。 l 按照数据的粒度和功能，由下往上汇总，分为基础数据逻辑模型、汇 总数据逻辑模型、信息子层逻辑模型。 EI S uEIS: 存储前端展现层的数据，直接用于前端应用 D 使用。 M uDM: 存储经过高度汇总的数据，粒度一般在地 EDS 市级别 uEDS ：存储经过一定轻度汇总的数据，粒度一般 在用户号码或客户号码级别 ODS uODS ：存储粒度较细的原始数据，如月帐单明细、 用户资料等。 STAGE uSTAGE ：临时数据存储区域，存放数据源数据， 存储周期较短，例如清单、BOSS工单日志等。 Postgres Conference China 2015 中国用户大会 传统BI系统简介—典型用例 DM/EIS 报表主题 KPI主题 前端展现数据 清单汇总主题 信令汇总主题 个人用户汇总主题 EDS 轻度汇总层 集团客户汇总主题 他网用户汇总主题 个人客户统一 集团客户统一 家庭客户统一