Source和Sink支持的连接器配置方法-实时计算 Flink版-阿里云

本文向您介绍基于Flink CDC的数据摄入作业的Source和Sink模块及其支持使用的连接器。

连接器参数配置

您可以在基于Flink CDC的数据摄入作业中配置 Source 及 Sink 连接器的参数。支持的连接器及相应的参数请参考下文。

# Source 模块
source:
  type: mysql # 或其他连接器标识符
  name: MySQL Source
  # 其他参数。使用 key: value 表示。

# Sink 模块
sink:
  type: paimon # 或其他连接器标识符
  name: Paimon Sink
  # 其他参数。使用 key: value 表示。

支持的连接器

连接器	支持类型
连接器	Source	Sink
MySQL 说明支持连接RDS MySQL版、PolarDB MySQL版及自建MySQL。	√	×
流式数据湖仓Paimon	×	√
流存储Fluss	×	√ 说明仅实时计算引擎 VVR 11.4.0 及更高版本支持。
消息队列Kafka	√ 说明仅实时计算引擎 VVR 8.0.10 及更高版本支持。	√
Upsert Kafka	×	√
StarRocks	×	√
实时数仓Hologres	×	√
日志服务SLS	√ 说明仅实时计算引擎 VVR 11.1 及更高版本支持。	×
MongoDB	√ 说明仅实时计算引擎 VVR 11.2 及更高版本支持。	×
大数据计算服务MaxCompute	×	√ 说明仅实时计算引擎 VVR 11.1 及更高版本支持。
SelectDB	×	√ 说明仅实时计算引擎 VVR 11.1 及更高版本支持。
Postgres CDC（公测中）	√ 说明仅实时计算引擎 VVR 11.4 及更高版本支持。	×
Print	×	√

复用已有Catalog获取连接信息

自VVR 11.5版本起，您可以在Flink CDC数据摄入作业中直接引用“数据管理”页面中创建的内置Catalog，获取对应的连接属性，如URL、username、password等，减少手写连接属性工作量。

语法

source:
  type: mysql
  using.built-in-catalog: mysql_rds_catalog
  
sink:
  type: paimon
  using.built-in-catalog: paimon_dlf_catalog

您可以在 source和 sink模块中使用using.built-in-catalog语法引用已创建的内置Catalog。

例如，在上面的例子中，mysql_rds_catalog的Catalog元数据中已经包含hostname、username、password等必填参数，因此无需在YAML作业中重复提供这些参数。

使用限制

下述连接器已经支持复用Catalog的连接信息：

MySQL（源端）
Kafka（源端）
Upsert Kafka（目标端）
StarRocks（目标端）
Hologres（目标端）
Paimon（目标端）
SLS（源端）

说明

与CDC YAML不兼容的Catalog参数不会生效，您可以参考各个连接器的参数列表查看详细信息。