管理Kafka自定义连接器

更新时间: 2023-11-15 15:42:28

本文介绍如何创建、查看、编辑、删除Kafka自定义连接器任务。

支持的地域

目前支持创建Kafka自定义连接器任务的地域有:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、美国(硅谷)、新加坡。

计费说明

Kafka自定义连接器独立于云消息队列 Kafka 版实例,因此不会在云消息队列 Kafka 版侧产生费用。同时,阿里云不承诺Kafka自定义连接器的SLA,使用时所依赖的Serverless 应用引擎的费用说明,请参见按量计费

前提条件

创建流程

流程

创建步骤

  1. 登录事件总线EventBridge控制台,在左侧导航栏,单击事件流
  2. 在顶部菜单栏,选择地域,然后单击创建事件流
  3. 创建事件流面板中,完成以下配置,单击创建

    1. 基本信息页签,设置事件流名称描述

    2. 连接器配置页签,选择事件提供方Apache Kafka Connect

      1. Kafka Connect插件卡片,配置以下参数。

        参数

        说明

        示例

        Kafka Connect插件

        事件总线EventBridge支持将包含Kafka Connect配置信息的.zip文件通过本地上传或者OSS引用的方式导入控制台。默认选择OSS引用

        OSS引用

        Bucket存储桶

        选择包含.zip文件的存储空间Bucket。更多信息,请参见控制台创建存储空间

        testbucket

        文件

        选择Bucket中包含Kafka Connect配置信息的.zip文件。也可根据控制台提示信息上传.zip文件。

        test-connect.zip

      2. Kafka资源信息卡片,配置以下参数。

        参数

        说明

        示例

        Kafka参数配置

        • Source Connect:其他资源服务通过Kafka Connect投递到Kafka。

        • Sink Connect:Kafka资源通过Kafka Connect投递到其他资源服务。

        Source Connect

        Kafka实例

        选择与其他资源服务对接的Kafka实例。

        alikafka-cn-zpr37892366****

        专有网络VPC

        选择VPC ID。

        vpc-bq1huohcvuo****

        交换机

        选择vSwitch ID。

        vsw-bqu1hdguoo****

        安全组

        选择实例所在的安全组。

        sg-dguigreuohpnv****

      3. Kafka Connect配置信息卡片,选择一种方式,配置Kafka Connect的连接参数。

        • 方式一:从文件列表中,选择已上传的包含连接器配置信息的.zip包中的.properties文件。

        • 方式二:在控制台上配置以下连接参数。

          重要

          如果已经上传了包含连接器配置信息的.zip文件,此处的配置信息将覆盖.zip文件中的信息。

          参数(必填)

          说明

          示例

          name

          Connector的名称。一般命名为不包含ISO控制符的字符串。

          mongo-sink

          connector.class

          Connector类的名称或者别名。必须是org.apache.kafka.connect.connector.Connector的子类。

          com.mongodb.kafka.connect.MongoSinkConnector

          task.max

          最大任务数量。取值范围为[1,Kafka中Topic的最大分区数]。

          1

          topics

          Kafka参数配置参数为Sink Connect时,该参数指定数据源Topic,不同Topic之间以半角逗号(,)进行分隔。

          sourceA,sourceB

          其他选填参数,请参见Kafka Connect Configs

    3. 实例配置页签,配置以下参数。

      1. Worker规格卡片,配置以下参数。

        参数

        说明

        示例

        Worker规格

        Worker支持弹性扩缩能力,可根据CPU使用率来自动扩缩容Worker。建议使用2 Core 4 GIB规格。

        2 Core 4 GIB

        最小Worker数

        设置Worker扩容的最小数量,取值不能小于1。

        2

        最大Worker数

        设置Worker扩容的最小数量,值不能大于50。

        2

        说明

        最大Worker数应该大于或等于最小Worker数。

        横向扩缩容阈值

        当CPU使用率大于或小于该值,触发自动扩容或缩容。单位:%。

        50

      2. Kafka Connect Worker配置卡片,勾选自动创建Kafka Connect Worker依赖资源

        事件总线EventBridge控制台预设了Kafka Connect Worker配置文件,不建议修改。

    4. 运行配置页签,在日志投递卡片设置投递方式为投递至SLS或者投递至Kafka,在角色授权卡片设置Connect依赖的角色配置,单击确定

      重要

      建议配置的角色包含AliyunSAEFullAccess权限,否则可能会导致任务运行失败。

其他操作

其他操作

创建任务后,您可以在事件流页面找到此任务,在其右侧的操作列执行相应操作。

  • 查看详情:单击操作列的详情,查看该任务的基础信息及指标监控。

  • 编辑任务:单击操作列的编辑,在编辑事件流面板修改该任务的连接器配置、实例配置及运行配置。修改完成后单击确认

  • 启停任务:单击操作列的停用启用,然后在提示对话框,单击确定

  • 删除任务:单击操作列的删除,然后在提示对话框,单击确定

阿里云首页 事件总线 相关技术圈