鸿星尔克SAP大数据快速输出-强晟.pptxVIP

SAP系统大数据快速输出 “信息结构”+“数据压缩”应用 强 晟 2015-01-31  Page2 海量数据 终端零售数据 1亿/年 表名 数据量 LIPS 188,055,377 MSEG 589,961,021 VBRP 141,244,573 BSEG 675,083,578 MARD 88,121,876 SAP IS-R 零售行业解决方案 2011年上线 至今  Page3 多维查询  Page4 效率的困惑  Page5 解决方案 业务系统大数据输出 信息结构： 　　　　解决实时汇总问题 簇数据库： 　　　　解决高效读取问题 M+N筛选算法： 　　　　解决快速展现问题 Info Structure Data Cluster M+N Algorithm  SAP为解决OLTP系统数据整合和实时展现的需要，特别在系统中植入了“信息结构”技术。 实现SAP业务数据的实时存储和简单整合。 依据事先确定的数据整合逻辑和数据汇集粒度。 Page6 信息结构-实现原理 创建步骤：  保存业务数据时，同步按预设指标汇总至信息结构表。 Page7 信息结构-运行逻辑 表头 行项目 原始业务数据 ∑ 数据库 优势： 实时性好 自定义指标粒度 数据存储在业务系统 注意： 使用信息结构会降低业务数据保存时的性能，须适度使用 信息结构表数据量过大时，查询速度同样会变慢，将它转换为簇数据库存储，加速读取； 关键字为逻辑条件，数据簇为逻辑数据，则：数据逻辑与物理存储保存一致; 下图：簇数据库；右图：数据簇  Page8 簇数据库-实现原理 历史数据合并压缩存储，读取时批量取出  Page9 簇数据库-运行逻辑 时间 组织 产品 营销 数据 1 2 3 4 5 6 7 8 信息结构数据 期间 组织 1 2 3 4 5 6 7 8 … ABAP运行时环境 时间 组织 产品 营销 数据 1 2 3  Page10 M+N筛选算法-业务目标 下图为查询目标（示例） 使用簇技术后，提升了数据库读取速度，降低了数据库负荷，把数据处理压力全部放在应用程序。 两次循环的时间复杂度：O(M×N÷2) 循环加二分法读取的时间复杂度： O(N×log2N)+O(M×log2N)  Page11 M+N筛选算法-算法设计 算法示意图 两表分别排序的时间复杂度： O(N×log2N)+O(M×log2M) 索引自增筛选的时间复杂度： O(M+N) 注意：本算法依赖于ABAP标准排序的高性能， 　　　（标准排序时600万条数据仅需1~2秒） 　　　如使自行编写排序算法，需重新评估。  Page12 M+N筛选算法-流程图 M+N筛选计算过程如下图：  Page13 应用效果 数据现状： 数据结构 MSEG MARD LIPS BSEG VBRP AFS系统 14,737,948 287,385 5,027,035 11,111,221 5,246,982 ISR系统 589,961,021 88,121,876 188,055,377 675,083,578 141,244,573 输出效果： 输出报表 信息系统 期间 数据条目 消耗时间 “进销存”（ZK08） AFS 1年 420万 11s “进销存”（ZK08） ISR 1年 3000万 23s 店铺“进销存”（ZK09） ISR 0.5年 1600万 78s 店铺销售明细输出（ZBW01） ISR 1年 2000万 40s 区域销售明细输出（ZBW11） ISR 1年 2000万 38s  Page14 数据核对  Page15 实际举例