- 1、本文档共36页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
EtLT架构下的数据集成平台
——Apache SeaTunnel
白鲸开源/高俊 QCon 2023全球软件开发北京大会
开源爱好者
白鲸开源:数据集成产品负责人
10年大数据相关工作,主要从事大数据平台建设、OLAP引擎设计研
发工作。
QCon 2023全球软件开发北京大会
开源爱好者,参与多个开源项目的贡献。
Apache DolphinScheduler PMC
Apache SeaTunnel (incubator) PPMC
Trino Contributor
Apache Arrow-DataFusion Contributor
01
ETL到EtLT架构演进
02
数据集成领域的痛点常见的解决方案
03
Contents 下一代数据集成平台Apache SeaTunnel
04
QCon 2023全球软件开发北京大会
SeaTunnel的核心架构及设计
05
下一代数据集成引擎SeaTunnel Zeta
06
近期规划如何快速参与社区建设
01
ETL到EtLT架构演进
QCon 2023全球软件开发北京大会
ETL时代 (1990-2015 )
• 数据源主要是结构化数据,MySQL、SQL
Server、Oracle、ERP、CRM等
• 数据仓库由OLTP时代的Oracle ,DB2来承担
• Informatica、Talend、Kettle出现
QCon 2023全球软件开发北京大会
ELT时代 (2005-2020 )
• MPP技术、分布式技术流行 (Hadoop, Hive )
• 数据源中的数据只做简单标准化写入数仓
• 无法处理复杂数据源,EL过程需要写Spark、
您可能关注的文档
- Android大型原生应用性能优化实践.pdf
- CLIP 模型在线上大规模部署的最佳实践.pdf
- Cloud IDE 在美团从 0 到 1 落地实践.pdf
- FastData DLink 实时湖仓引擎架构设计与落地实践 .pdf
- FinOPS 从概念到落地.pdf
- KMM 技术在移动 App 开发中的探索与实践.pdf
- OPPO 全球混合云建设之路 .pdf
- Prometheus大规模业务监控实战.pdf
- QCon 大会内容策划思路.pdf
- QCon-OpenSumi 演进之路-云研发背景下的应用与实践.pdf
- 2024年江西省寻乌县九上数学开学复习检测模拟试题【含答案】.doc
- 2024年江西省省宜春市袁州区数学九上开学学业水平测试模拟试题【含答案】.doc
- 《GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语》.pdf
- 中国国家标准 GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语.pdf
- GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- 《GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构》.pdf
- 中国国家标准 GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 中国国家标准 GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 《GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南》.pdf
文档评论(0)