第三次课data vauit建模理论及应用场景案例1anchor数据仓库问题答案5.pdfVIP

数据仓库问题 ： 1.ORACLE业务系统数据（包括OA系统、生产系统、财务系统。。。）怎么被拉到数仓中的？ sqoop(全量（全删），全插)、datax；有没有更好的方式？ mysql业务系统canal 2.一般两种方式： 批量抽取数据库表： 1)关系型数据库，可以通过sqoop、datax同步到hdfs中，目前几乎支持了所有的主流数据库 2)也可以自己用spark、MR等方式开发数据同步程序 目前主要采用该方案，实际 的时候可以根据情况考虑全量或者增量； 3.恢复事务日志 1)对于mysql可用canal同步 2)Or