etl流程、数据流图及etl过程解决方案.pptVIP

Planning Design: Requirements/Realities ? Architecture ? Implementation ? Test/Release Data Flow: Extract ? Clean ? Conform ? Deliver 数据拆分的时候，规则的制定就显得极为重要，要保证所制定的规则能够覆盖所有的数据，不丢失数据且不出现数据的重合。 常见问题的分析 字符集问题 缓慢变化维处理 增量、实时同步的处理 错误数据的检测 变化数据的捕获 抽取异常中止的处理 一、字符集问题 字符集定义 字符集是字符(包含字母，数字，符号和非打印字符等)以及所指定的内码所组成的特定的集合。是基于某种操作系统平台和某种语言集支持的。语言集的集合被称为语言组，它可能包含一种或多种语言。 C/S字符集转换 直接转换 对于同一语言组的不同字符集之间，可以直接进行字符的转换，不会产生乱码 通过Unicode转换 Unicode支持超过650种语言的国际字符集 Unicode系统缺省字符集utf-8 不同语言组的字符集进行直接转换的时候会出现乱码！ 异构库字符集转换 假设案例： 源数据库为Oracle 10g，字符集zhs 16gbk 目标数据库Sybase IQ，字符集为x， locales.dat文件对应操作系统下字符集设置为y x=cp936，y=cp936 结果：直接转换出现乱码。因为sybase目前支持的中文字符集有cp936、eucgb、gb18030、UTF-8 方案：利用unicode进行转换 ODBC 利用字符集设置为UTF-8的中间库 二、缓慢变化维处理 缓慢变化维定义 在现实世界中，维度的属性并不是静态的，会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维。 处理方式 不保留历史数据 保留历史数据 起始-结束日期字段标识 真/假状态字段标识 版本号字段标识 代理键字段标识 自增序列 构造算法 保留且分析历史信息 添加新的维度列（数据增多，维度列增多） 三、增量、实时同步的处理 整表匹配 同一个库中进行 写触发器 客户是否允许创建触发器 是否影响数据库性能 读数据库日志 Oracle：设定物化视图日志 四、断点续传 利用源表的索引机制，抽取时按”数据块”顺序抽取 采取DBLink的机制，结合oracle自身机制优化效率 生成本地文件块，FTP传输减少对带宽影响。若中断，流程控制自动回滚加载当前数据块 ETL工具大都支持异常中止后读取断点重新加载的处理 支持对变化数据的捕获 与目标数据库松耦合 存储过程与ETL 存储过程：数据库内部利用索引的查找、排序、优化，不涉及输出、转换等操作 ETL：异构数据源或减少数据库负荷、sql嵌套的情况 如果仓库中同时需要明细和汇总数据，在仓库汇总；如果仓库不需要明细数据，ETL服务器上先排序然后汇总，减少业务系统负荷。 数据库不适合做大数据量汇总的话，排序后按排序键汇总，并行处理加动态分区（ETL厂商高性能汇总的机理） ◇ETL定义 ◇模式及比较 ◇ETL过程 ◇问题分析 ◇ 现状分析 目录 ETL工具厂商 目前ETL工具来源： 数据库厂商自带的ETL工具，如OWB等； 第三方工具提供商，如Informatic等； 开源ETL工具，如kettle； ETL和数据集成工具：ETL和数据集成的工作量占BI项目的40%，但是ETL工具约占BI市场的9%，其中很多应用是采用手工编码方式，ETL工具仍有待普及 ????? ? 谢 谢 ! 教你写字 下面是赠送的PPT模板不需要朋友可以下载后编辑删除！！谢谢！！ 感恩 父母 天冷时，是他们给你送来温暖 有时，他们会对我们发火 感恩父母 感谢你们 把我带到了这个世界 感谢你们 给了我自由的空气 感谢你们 谆谆的教导 殷殷的嘱托 我长大了 而你们却老了 谁言寸草心 报得三春晖 我会向你们献上一片诚挚的孝心 祝你们永远健康 对部门及岗位职责的理解 系统集成（SI，System Integration）：就是通过结构化的综合布线系统和计算机网络技术，将各个分离的设备(如个人电脑)、功能和信息等集成到相互关联的、统一和协调的系统之中，使资源达到充分共享，实现集中、高效、便利的管理。 系统集成 负责集成项目软、硬件产品与网络设备的安装、调试及使用培训、售前技术支持。 负责项目及相关技术问题的跟踪和解决，售后设备维护工作。 岗位职责 三、工作总结 项目运维 项目实施 银青高速 无线网桥 视频监控 东毛隧道 语音电话 人员定位基站 隧道监控 停车场 项目全面实施 （IP设置） 银青路基五标 贵州独平高速 项目全面实施 （监控室