电信经营分析系统技术交流幻灯片课件.ppt

SAN典型结构 存储方式比较 存储估算 数据仓库数据 3NF Star-Schema 数据集市 Star-Schema Cube 3NF计算公式 总容量=∑源数据i * (1+索引因子) * RAID 因子 源数据i=单条记录字节数 * 记录数/人.天 * 用户数*有效用户系数 * 天数/月 * 保存月数 说明： 索引因子 = 0.7 RAID因子 = 1.25按RAID5考虑 记录数/人.天 = 8 用户数*有效用户系数 = 200万/600万/1200万 天数/月 = 31 保存月数 = N 注：以上计算基于Oracle数据仓库引擎 Star-Schema的计算 维表 用来描述属性数据，通常数据量很小，可以忽略不计。 事实表 记录的大小取决于分析的内容，包括每个维值的代码和汇总数值的大小。 记录的数量取决于分析维度的多少和每个维度可能出现的值的个数。 事实表大小= 事实表记录大小x 各维值取值数x 压缩比因子 业务主题总数据量= 各事实表大小的总和 星型数据存储量= 业务主题总数据量x (1+索引因子) x RAID 因子 存储估算（600万为例） 语音业务用户 本地话单每年存储量为： 230*8*600万* 31 * 12 = 4.11T 漫游话单每年存储量为： 230*10% * 8*600万* 31 * 12 = 0.411T 语音业务用户话单每年总存储量为： 4.11T+0.411T = 4.521T 数据业务及其他新业务 本地话单每年存储量为： 400*20%* 8*600万* 31 * 12 =1.44T 漫游用户话单每年存储量为： 400*20%* 10% * 8*600万* 31 * 12 = 190.4G 数据业务及其他新业务话单每年总存储量为： 1.44T+190.4G = 1.63T 存储估算（600万为例） 结算话单 结算话单每年存储量为： [200*600万*（8+8*10%）*50%]*31*12 = 1.97T 每年话单存储总量为： 4.521T + 1.63T + 1.97T = 8.121T 存储估算（600万为例） 营业部交易记录 基本上是每个客户有几条记录，但相对稳定，不会大量产生，也不随时间爆炸性增长，估算为0.6T/年。 客服数据 也会随时间增长，但增幅远小于话单数据，估算为0.6T/年。 存储估算（600万为例） 客户资料数据 相对稳定，以后随客户数量的增加而增长，其增幅也不大，估算为0.6T/年。 总容量? 结合上述因素，总的存储空间为： (8.121T+0.6T*3）*1.25=12.4T 存储估算（600万为例） 主机性能测算 TPC-C TPC-C is an on-line transaction processing benchmark TPC-H TPC-H is an ad-hoc, decision support benchmark It consists of a suite of business oriented ad-hoc queries and concurrent data modifications. The performance metric reported by TPC-H is called the TPC-H Composite Query-per-Hour Performance Metric (QphH@Size) 影响因素 源主机 源数据库 网络带宽 数据量（主要） 目标主机（主要） 目标数据库（主要） HP Superdome + Oracle IBM SP + DB2 NCR SUN + Oracle 举例：话务流向分析 维：通话日期、通话时间、对端号码，共3个维； 分析指标：通话次数，通话时长 实施：建立一个3维的数据立方体，对指标采用切片、钻取、旋转等方法进行分析 多维数分析 时间 日期 对端号码 同一时刻话务流向分析 12:00 OLAP分析方法一【切片】 12:00 日期 对 端 号 码 OLAP分析方法一【切片】 时间 日期 5月1日 对端号码 同一日期话务流向分析 5月1日 对端号码 时 间 OLAP分析方法一【切片】 流向同一运营商的话务量分析 时间 日期 联通 对端号码 联通 日 期 时 间 时间 日期 年 季度 季度 月 月 月 月 对端号码 OLAP分析方法二【钻取】 在同一个维上，按不同的层次来分析 OLAP分析方法三【旋转】 将年份和季度交换坐标 基于WEB的展现方式 对数据进行可视化的分析，分析结果的展现方式有以下几种，并且各种形式之间可以相互的转换： 1．柱状图