如何配置Kafka_云消息队列 Kafka 版(Kafka)-阿里云帮助中心

本文介绍如何创建、查看、编辑、删除Kafka自定义连接器任务。

支持的地域

目前支持创建Kafka自定义连接器任务的地域有：华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、美国（硅谷）、新加坡。

Kafka自定义连接器独立于云消息队列 Kafka 版实例，因此不会在云消息队列 Kafka 版侧产生费用。同时，阿里云不承诺Kafka自定义连接器的SLA，使用时所依赖的Serverless 应用引擎的费用说明，请参见按量计费。

云消息队列 Kafka 版支持创建消息流入任务将其他资源服务通过Kafka Connect投递到Kafka，也可以创建消息流出任务将Kafka资源通过Kafka Connect投递到其他资源服务。本文以创建消息流入（Source）任务为例。

在创建任务面板，设置任务名称和描述，配置以下参数，单击保存。

任务创建

在连接器配置配置向导，设置以下参数，然后单击下一步。

在Kafka Connect插件卡片，配置以下参数。

参数	说明	示例
Bucket存储桶	选择包含.zip文件的存储空间Bucket。更多信息，请参见控制台创建存储空间。	testbucket
文件	选择Bucket中包含Kafka Connect配置信息的.zip文件。也可根据控制台提示信息上传.zip文件。	test-connect.zip

在Kafka资源信息卡片，配置以下参数，然后单击下一步。

在Kafka Connect配置信息卡片，选择一种方式，配置Kafka Connect的连接参数。

方式二：在控制台上配置以下连接参数。

重要

如果已经上传了包含连接器配置信息的.zip文件，此处的配置信息将覆盖.zip文件中的信息。

参数（必填）	说明	示例
name	Connector的名称。一般命名为不包含ISO控制符的字符串。	mongo-sink
connector.class	Connector类的名称或者别名。必须是`org.apache.kafka.connect.connector.Connector`的子类。	com.mongodb.kafka.connect.MongoSinkConnector
task.max	最大任务数量。取值范围为[1,Kafka中Topic的最大分区数]。	1
topics	当Kafka参数配置参数为Sink Connect时，该参数指定数据源Topic，不同Topic之间以半角逗号（,）进行分隔。	sourceA,sourceB

其他选填参数，请参见Kafka Connect Configs。

在实例配置配置向导，配置以下参数，然后单击下一步。

在Worker规格卡片，配置以下参数。

参数	说明	示例
Worker规格	Worker支持弹性扩缩能力，可根据CPU使用率来自动扩缩容Worker。建议使用2 Core 4 GIB规格。	2 Core 4 GIB
最小Worker数	设置Worker扩容的最小数量，取值不能小于1。	2
最大Worker数	设置Worker扩容的最小数量，值不能大于50。	2 说明最大Worker数应该大于或等于最小Worker数。
横向扩缩容阈值	当CPU使用率大于或小于该值，触发自动扩容或缩容。单位：%。	50

在Kafka Connect Worker配置卡片，勾选自动创建Kafka Connect Worker依赖资源。
控制台预设了Kafka Connect Worker配置文件，不建议修改。

在运行配置配置向导，通过日志投递卡片设置投递方式为投递至SLS或者投递至Kafka，在角色授权卡片设置Connect依赖的角色配置，然后单击保存。
重要
建议配置的角色包含AliyunSAEFullAccess权限，否则可能会导致任务运行失败。

创建任务后，您可以在任务列表页面找到此任务，在其右侧的操作列执行相应操作。