创建DTS Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流入源为数据传输服务DTS的消息流入任务。

前提条件

开服地域

在消息集成中创建消息流入任务时,支持将数据传输服务DTS作为消息流入任务源端的地域有华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华南1(深圳)、华南3(广州)、西南1(成都)和中国香港。

创建消息流入任务

  1. 登录云消息队列 Kafka 版控制台,在左侧导航栏选择Connector生态集成 > 任务列表

  2. 在顶部菜单栏选择地域,如华东1(杭州),然后在任务列表页面中,单击创建任务列表

  3. 创建任务面板,设置任务名称描述,配置以下参数,单击保存

    • 任务创建

      1. Source(源)配置向导,选择数据提供方数据传输服务DTS,设置以下参数,然后单击下一步

        参数

        说明

        示例

        数据订阅任务

        选择您在数据传输服务DTS控制台上创建的数据订阅任务ID。

        dts8jqe****

        接入方式

        默认为创建的数据订阅任务的接入方式且不可更改。

        RDS

        实例ID

        默认为创建数据订阅任务时订阅的实例且不可更改。

        rm-bp18mj3q2dzyb****

        消费组

        在前提条件中创建的用于消费订阅任务数据的消费组名称。

        说明

        请确保该消费组没有在其他客户端的实例上运行,否则可能导致传入的消费位点失效。

        test

        账号

        创建消费组时设置的账号。

        test

        密码

        创建消费组时设置的密码。

        ******

        消费位点

        期望消费第一条数据的时间戳。消费位点必须在订阅实例的数据范围之内。

        说明

        消费位点仅在新消费组第一次运行时生效,若后续任务重启,则会基于上次消费位点继续消费。

        2022-06-21 00:00:00

        批量推送

        批量推送可帮您批量聚合多个事件,当批量推送条数批量推送间隔(单位:秒)两者条件达到其一时即会触发批量推送。

        例如:您设置的推送条数为100 条,间隔时间为15 s,在10 s内消息条数已达到100条,那么该次推送则不会等15 s后再推送。

        开启

        批量推送条数

        调用函数发送的最大批量消息条数,当积压的消息数量到达设定值时才会发送请求,取值范围为 [1,10000]。

        100

        批量推送间隔(单位:秒)

        调用函数的间隔时间,系统每到间隔时间点会将消息聚合后发给函数计算,取值范围为[0,15],单位为秒。0秒表示无等待时间,直接投递。

        3

      2. Filtering(过滤)配置向导,设置数据模式内容过滤发送的请求。更多信息,请参见事件模式

      3. Transform(转换)配置向导,设置数据清洗,实现分割、映射、富化及动态路由等繁杂数据加工能力。更多信息,请参见数据清洗

      4. Sink(目标)配置向导,选择服务类型消息队列 Kafka 版,配置以下参数。

        参数

        说明

        示例

        实例ID

        选择已创建的云消息队列 Kafka 版实例。

        test

        Topic

        选择已创建实例中的Topic。

        test

        确认模式(ack)

        选择云消息队列 Kafka 版接收到数据后给客户端发出的确认信号。

        None

        消息体(body)

        事件总线EventBridge通过JSONPath提取事件中的数据,将指定的事件内容路由到事件目标。

        部分事件

        $.data.value

        消息键值(Key)

        事件总线EventBridge通过JSONPath提取事件中的数据,将指定的事件内容路由到事件目标。

        部分事件

        $.data.key
    • 任务属性

      配置事件推送失败时的重试策略及错误发生时的处理方式。更多信息,请参见重试和死信

  4. 返回任务列表页面,找到创建好的任务,在其右侧操作列,单击启用

  5. 提示对话框,阅读提示信息,然后单击确认

    启用任务后,会有30秒~60秒的延迟时间,您可以在任务列表页面的状态栏查看启动进度。

其他操作

任务列表页面,找到目标任务,在其右侧操作列,执行其他操作。

  • 查看任务详情:单击详情,在任务页面,查看任务的基础信息、任务属性及监控指标。

  • 编辑任务配置:单击编辑,在编辑任务面板,修改任务详情及属性。

  • 启停任务:单击启用或者停用,然后在提示对话框,单击确认

  • 删除任务:单击删除,然后在提示对话框,单击确认