第四章Paimon其他操作指南.pdfVIP

4.1CDCIngestion

在Paimon中，CDC（ChangeDataCapture）Ingestion(摄取)是一种支持多种方式的数据同步

机制，通过Flink任务能够将数据源的实时更改（增量变更，如插入、更新和删除操作）捕获并同

步到Paimon表，同时支持模式演变功能（SchemaEvolution），当数据源增加新字段时，

Paimon表可以自动同步更新，无需重新启动同步任务。

下面介绍常见的MySQLCDC和KafkaCDC，这些CDC可以将对应变更数据同步到Paimon表

中。

4.1.1MySQLCDC

我们可以将MySQLCDC数据同步到Paimon表中，完成将MySQL一张/多张表数据同步到

Paimon一张表中，或者将整个MySQL库中的数据导入到Paimon数据库中。

以上操作需要依赖“flink-sql-connector-mysql-cdc-3.1.1.jar”和“mysql-connector-java-

8.0.27.jar”两个Jar包，将两个Jar包上传至Flink客户端“$FLINK_HOME/lib”目录中，这里上

传至node5节点$FLINK_HOME/lib目录下，上传完成后，重新启动FlinkOnYarnSession任务

生效。

[root@node5lib]#cd$FLINK_HOME/lib

[root@node5lib]#ls|grepflink-sql-connector-mysql-cdc-3.1.1.jar

flink-sql-connector-mysql-cdc-3.1.1.jar

[root@node5lib]#ls|grepmysql-connector-java-8.0.27.jar

mysql-connector-java-8.0.27.jar

如果有FlinkOnYarnSession运行，通过如下方式停止任务：

[root@node5bin]#yarnapplication-killapplication_xxx_0001

同步表

可以直接使用flinkrun命令将MySQL中的一张表或者多张表同步到一个Paimon表中，如果指定

的Paimon库和表不存在，Paimon会自动创建库与表，并从所有指定的MySQL表中生成

Paimon表Schema；如果指定的Paimon表存在，表Schema将会与MySQL表Schema对照后导

入。

将MySQL表数据导入Paimon表命令如下：

FLINK_HOME/bin/flinkrun\

/path/to/paimon-flink-action-0.9.0.jar\

mysql_sync_table

--warehousewarehouse-path\

--databasedatabase-name\

--tabletable-name\

[--partition_keyspartition_keys]\

[--primary_keysprimary-keys]\

[--type_mappingoption1,option2...]\

[--computed_columncolumn-name=expr-name(args[,...])[--computed_column...]]\

[--metadata_columnmetadata-column]\

[--mysql_confmysql-cdc-source-conf[--mysql_confmysql-cdc-source-conf...]]\

[--catalog_confpaimon-catalog-conf[--catalog_confpaimon-catalog-conf...]]\

[--table_confpaimon-table-sink-conf[--table_confpaimon-table-sink-conf...]]

以上参数解释如下

--warehouse：Paimon仓库的路径。

--database：Paimon中的数据库名。

--table：Paimon表名。

--partition_keys：Paimon表的分区键，如果有多个分区键，请用逗号连接，例如dt,hh,

mm