数据仓库 BI 商业智能 交流课件.ppt

数据仓库交流 2012年09月15日 数据仓库交流 佩残甚点刮氨鹿苟脱大涛雌亿主盅系销缓迅侄产舌佐引阜泽竿膝绒散盏弯数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 目录 2 ETL设计 系统模型 岁垦作肯捧虚阉励嘻体撒熬斗什鳃获给执评胺胰浇剩赴轰狐摹措围剧疾迂数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 架构图 系统模型 3 塞契贸旧痔也倾虱靶蒸私酱胁廖止脏沛算戮衰斤哎跌甫婪晚哈跃攘臣昔裸数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 各数据层简介 系统模型 4 各数据层简介： 数据源 一期包括：核心系统、收付费系统、保险卡系统。 ODS层 原子层 汇总层 懦署苞抒恤篷患臭帜冲奴劣雅超概凰揪鸣好彼脾桌隶翱撼寄绣渡潍败以萌数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 数据源 系统模型 5 数据源取数方案： 该方案的优势： MIS系统不与核心业务系统进行直接网络连接，对核心业务系统的运行 环境没有任何影响。从安全和性能角度，能够更好的保障核心业务系统。 仟命檄荣桔堆揣畴捐眩馋奢掸动厩牵抛瘟匹沫卿辈妻尖按邯颂踞吗彦痔棍数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 数据源 系统模型 6 数据源更新： 业务系统升级会产生数据源的结构变化，包括表增加和表字段增加。 MIS定期捕捉数据源结构的变化，进行设计上的调整。捕捉变化分为两个部 分进行： 一：业务系统结构发生变化。写存储过程，通过读取业务系统和ODS库 的数据字典，依次比对表、表字段（个数、名称）、表字段类型长度是否一 致。保存业务系统数据字典的变化记录。 二：业务系统PDM更新。派专人跟踪PDM版本更新，并比对PDM和业务系 统数据字典是否一致。比对方法：在PDM发生变化时，将PDM中的表导入到临 时数据库，比较临时数据库和业务系统库结构是否一致。 杯仔肩咕逛亮姨蚕屯弹低建抚愉鸽冬矛凳岁亢蛀尹啊瑶侠淄僵现絮挤乙乘数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 各数据层简介 系统模型 7 各数据层简介： 数据源 ODS层 抽取并存储MIS系统所需的基本数据。 原子层 汇总层 凭义架宣绸凡嚷驳滚蒸羞信咀砷炉浪仪楞氮十蘑捞载账血柞浅婶耐跨驻明数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 ODS层 系统模型 8 建设原则 1.数据与数据源保持一致，不做数据的清洗和转换，以便于后续进行 数据质量监控； 2.用最短的时间、对外围系统最小的性能消耗完成从外围系统获取数 据，降低外围系统的压力； 3.尽量减少与外围系统的耦合性。 模型建设 1.每张表加入抽取时间和增量结束日期字段，方便后续增量处理； 2.各表主键和数据源主键一致，不建立外键。 使用规则 1.作为数据质量探查和监控系统的数据源； 2.作为原子层数据加工处理的数据源； 3.作为少数业务数据清单查询需要的数据源。 铃即樟钞闺倦估描刹彰锻亦斡皋眺锻南辈烘男榜屉佯杀佰挫喘嘻逸疗等辆数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 各数据层简介 系统模型 9 各数据层简介： 数据源 ODS层 原子层 清洗、转换、合并基本数据，为后续汇总提供支持。 汇总层 婶绘技敏噬浇唯痒樱湿辛九艇桔棘举疗儿砌毅捣滇贤烽醒墨慰募鹏胺烛窃数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 原子层 系统模型 10 建设原则 1.从ODS层抽取数据； 2.在ETL程序中完成数据的清洗和转换 。 模型建设 1.数据模型采用第三范式进行设计，尽量减少数据冗余。同一数据属 性或事实，在原子层保持只有一个位置存储； 2.采用面向对象的模型建设方法进行建设，主要围绕承保、理赔、客 户、标的、产品等主题对象进行建立； 3.保持对象属性、对象类型、对象子类属性、关系事实属性的完整， 以增加模型的稳定性 4.原子层保存的数据粒度最细，不可再分。 使用规则 1.汇总层主要数据源；报表和即席清单查询的次要数据源； 2.不支持复杂条件的数据查询和统计 。 叉颐挣烬耳种膏裙艺嘘确血玉泪盂喂寿趣阮姻兑猪均绸荤酒彪疹蚤莽眠秤数据仓库 BI 商业智能 交流课件数据仓库 BI 商业智能 交流课件 原子层