数据采集与预处理-第6章-数据仓库中的数据集成.pptVIP

6.4.3具体应用场景 2.面向实时的CDC 这种场景满足零延迟的要求，变化分发机制一旦探测到变化，就把变化push给ETL程序，这通常是通过可靠的传输机制来实现的，比如事件分发机制和消息中间件（如MQ Series）。 虽然面向消息和面向事件的集成方法在EAI产品中更为常见，但现在，已经有很多ETL工具厂商在他们的解决方案中提供这种功能，以满足高端、实时的商务应用需求。当BI应用需要零延迟和最新的数据时，这种实时的数据集成方法就是必须的。 6.4.4需要考虑的问题 很显然，CDC技术提供了诸多好处，但也有几个值得思考的问题，具体如下： （1）变化捕捉方法。 （2）对操作型系统的入侵程度。 （3）捕捉延迟。 （4）过滤和排序服务。 （5）支持多个消费者。 （5）失败和恢复。 （7）主机和遗产数据源。 （8）和ETL工具的无缝集成。 6.5 本章小结 数据集成为分散在企业不同地方的商务数据提供了一个统一的视图。我们可以使用不同的技术来构建这个统一视图。这个统一视图可以是一个物理数据视图，其中的数据来自多个分散的数据源，并被整合存储到一个集成的数据存储中，比如数据仓库。或者，统一视图也可以是一个虚拟数据视图，其中的数据分散在多个数据源中，而不是集中存储在一个地方，只有当需要使用这些数据的时候，才临时把它们从多个数据源中抽取出来，并加以适当处理后，提交给数据请求者。本章内容介绍了数据集成的概念和技术，并重点介绍了两种代表性的数据集成技术，即ETL和CDC。 附录A：主讲教师林子雨简介 单位：厦门大学计算机科学与技术系 E-mail: ziyulin@ 个人网页：/post/linziyu 数据库实验室网站： 主讲教师：林子雨 林子雨，男，1978年出生，博士（毕业于北京大学），全国高校知名大数据教师，现为厦门大学计算机科学系副教授，厦门大学信息学院实验教学中心主任，曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。中国计算机学会数据库专业委员会委员，中国计算机学会信息系统专业委员会委员。国内高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干成员，2013年度、2017年度和2020年度厦门大学教学类奖教金获得者，荣获2019年福建省精品在线开放课程、2018年厦门大学高等教育成果特等奖、2018年福建省高等教育教学成果二等奖、2018年国家精品在线开放课程。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049)，主持的教改课题包括1项2016年福建省教改课题和1项2016年教育部产学协作育人项目，同时，作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题。中国高校首个“数字教师”提出者和建设者，2009年至今，“数字教师”大平台累计向网络免费发布超过1000万字高价值的研究和教学资料，累计网络访问量超过1000万次。打造了中国高校大数据教学知名品牌，编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》，并成为京东、当当网等网店畅销书籍；建设了国内高校首个大数据课程公共服务平台，为教师教学和学生学习大数据课程提供全方位、一站式服务，年访问量超过400万次，累计访问量超过1500万次。 扫一扫访问个人主页 附录B：大数据学习路线图 大数据学习路线图访问地址：/post/10164/ 附录C：林子雨大数据系列教材 了解全部教材信息：/post/bigdatabook/ 附录D：《大数据导论（通识课版）》教材 本课程旨在实现以下几个培养目标： 引导学生步入大数据时代，积极投身大数据的变革浪潮之中 了解大数据概念，培养大数据思维，养成数据安全意识 认识大数据伦理，努力使自己的行为符合大数据伦理规范要求 熟悉大数据应用，探寻大数据与自己专业的应用结合点 激发学生基于大数据的创新创业热情 教材官网：/post/bigdataintroduction/ 开设全校公共选修课的优质教材 高等教育出版社 ISBN:978-7-04-053577-8 定价：32元 版次：2020年2月第1版 附录E：《大数据导论》教材 林子雨 编著《大数据导论》 人民邮电出版社，2020年9月第1版 ISBN:978-7-115-54446-9 定价：4