ETL流程数据流图及ETL过程解决方案.pptVIP

Planning Design: Requirements/Realities ? Architecture ? Implementation ? Test/Release Data Flow: Extract ? Clean ? Conform ? Deliver 数据拆分的时候，规则的制定就显得极为重要，要保证所制定的规则能够覆盖所有的数据，不丢失数据且不出现数据的重合。 常见问题的分析 字符集问题 缓慢变化维处理 增量、实时同步的处理 错误数据的检测 变化数据的捕获 抽取异常中止的处理 一、字符集问题 字符集定义 字符集是字符(包含字母，数字，符号和非打印字符等)以及所指定的内码所组成的特定的集合。是基于某种操作系统平台和某种语言集支持的。语言集的集合被称为语言组，它可能包含一种或多种语言。 C/S字符集转换 直接转换 对于同一语言组的不同字符集之间，可以直接进行字符的转换，不会产生乱码 通过Unicode转换 Unicode支持超过650种语言的国际字符集 Unicode系统缺省字符集utf-8 不同语言组的字符集进行直接转换的时候会出现乱码！ 异构库字符集转换 假设案例： 源数据库为Oracle 10g，字符集zhs 16gbk 目标数据库Sybase IQ，字符集为x， locales.dat文件对应操作系统下字符集设置为y x=cp936，y=cp9