文档

管理Kafka自定义连接器

更新时间:

本文介绍如何创建、查看、编辑、删除Kafka自定义连接器任务。

支持的地域

目前支持创建Kafka自定义连接器任务的地域有:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、美国(硅谷)、新加坡。

计费说明

Kafka自定义连接器独立于云消息队列 Kafka 版实例,因此不会在云消息队列 Kafka 版侧产生费用。同时,阿里云不承诺Kafka自定义连接器的SLA,使用时所依赖的Serverless 应用引擎的费用说明,请参见按量计费

前提条件

创建流程

流程

创建步骤

云消息队列 Kafka 版支持创建消息流入任务将其他资源服务通过Kafka Connect投递到Kafka,也可以创建消息流出任务将Kafka资源通过Kafka Connect投递到其他资源服务。本文以创建消息流入(Source)任务为例。

  1. 登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。

  2. 在左侧导航栏,选择Connector生态集成 > 消息流入(Source)

  3. 消息流入(Source)页面,单击创建任务

  4. 消息流入创建面板中,完成以下配置,单击确定

    1. 基本信息区域,设置任务名称,选择流入类型Apache Kafka Connect

    2. 连接器配置区域,执行以下步骤。

      1. Kafka Connect插件卡片,配置以下参数。

        参数

        说明

        示例

        Bucket存储桶

        选择包含.zip文件的存储空间Bucket。更多信息,请参见控制台创建存储空间

        testbucket

        文件

        选择Bucket中包含Kafka Connect配置信息的.zip文件。也可根据控制台提示信息上传.zip文件。

        test-connect.zip

      2. Kafka资源信息卡片,配置以下参数。

        参数

        说明

        示例

        Kafka实例

        选择与其他资源服务对接的Kafka实例。

        alikafka-cn-zpr37892366****

        专有网络VPC

        选择VPC ID。

        vpc-bq1huohcvuo****

        交换机

        选择vSwitch ID。

        vsw-bqu1hdguoo****

        安全组

        选择实例所在的安全组。

        sg-dguigreuohpnv****

      3. Kafka Connect配置信息卡片,选择一种方式,配置Kafka Connect的连接参数。

        • 方式一:从文件列表中,选择已上传的包含连接器配置信息的.zip包中的.properties文件。

        • 方式二:在控制台上配置以下连接参数。

          重要

          如果已经上传了包含连接器配置信息的.zip文件,此处的配置信息将覆盖.zip文件中的信息。

          参数(必填)

          说明

          示例

          name

          Connector的名称。一般命名为不包含ISO控制符的字符串。

          mongo-sink

          connector.class

          Connector类的名称或者别名。必须是org.apache.kafka.connect.connector.Connector的子类。

          com.mongodb.kafka.connect.MongoSinkConnector

          task.max

          最大任务数量。取值范围为[1,Kafka中Topic的最大分区数]。

          1

          topics

          Kafka参数配置参数为Sink Connect时,该参数指定数据源Topic,不同Topic之间以半角逗号(,)进行分隔。

          sourceA,sourceB

          其他选填参数,请参见Kafka Connect Configs

    3. 实例配置页签,配置以下参数。

      1. Worker规格卡片,配置以下参数。

        参数

        说明

        示例

        Worker规格

        Worker支持弹性扩缩能力,可根据CPU使用率来自动扩缩容Worker。建议使用2 Core 4 GIB规格。

        2 Core 4 GIB

        最小Worker数

        设置Worker扩容的最小数量,取值不能小于1。

        2

        最大Worker数

        设置Worker扩容的最小数量,值不能大于50。

        2

        说明

        最大Worker数应该大于或等于最小Worker数。

        横向扩缩容阈值

        当CPU使用率大于或小于该值,触发自动扩容或缩容。单位:%。

        50

      2. Kafka Connect Worker配置卡片,勾选自动创建Kafka Connect Worker依赖资源

        控制台预设了Kafka Connect Worker配置文件,不建议修改。

    4. 运行配置页签,在日志投递卡片设置投递方式为投递至SLS或者投递至Kafka,在角色授权卡片设置Connect依赖的角色配置

      重要

      建议配置的角色包含AliyunSAEFullAccess权限,否则可能会导致任务运行失败。

其他操作

任务

创建任务后,您可以在消息流入(Source)页面找到此任务,在其右侧的操作列执行相应操作。

  • 查看详情:单击操作列的详情,查看该任务的基础信息及指标监控。

  • 编辑任务:单击操作列的编辑,在消息流入编辑面板修改该任务的连接器配置、实例配置及运行配置。修改完成后单击确认

  • 启停任务:单击操作列的停用启用,然后在提示对话框,单击确定

  • 删除任务:单击操作列的删除,然后在提示对话框,单击确定

  • 本页导读 (1)