本文介绍如何创建使用SLS Sink Connector,您可通过SLS Sink Connector将数据从云消息队列 Kafka 版实例的数据源Topic导出至日志服务SLS。

前提条件

详细步骤,请参见创建前提

步骤一:创建目标服务资源

  • 创建日志项目(Project)。详细步骤,请参见创建Project
  • 创建日志库(Logstore)。详细步骤,请参见创建Logstore

本文以Project为guide-sls-sink-project和Logstore为guide-sls-sink-logstore的资源为例。

步骤二:创建SLS Sink Connector并启动

  1. 登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。
  2. 在左侧导航栏,选择Connector生态集成 > 消息流出(Sink)
  3. 消息流出(Sink)页面,单击创建任务
  4. 消息流出创建面板,配置以下参数,单击确定
    1. 基础信息区域,设置任务名称,将流出类型选择为日志服务SLS
    2. 资源配置区域,设置以下参数。
      表 1. 源(云消息队列 Kafka 版
      参数说明示例
      地域源Kafka实例所在的地域。华东1(杭州)
      kafka实例数据源所在的Kafka实例ID。alikafka_post-cn-9hdsbdhd****
      Topic数据源所在的Kafka实例Topic。guide-sink-topic
      Group ID数据源所在的Kafka实例中的Group ID。
      • 快速创建:自动创建以GID_EVENTBRIDGE_xxx命名的Group ID。
      • 使用已有:选择已创建的Group,请选择独立的Group ID,不要和已有的业务混用,以免影响已有的消息收发。
      使用已有
      并发配额(消费者数)消费Topic数据的并发线程数,线程和Topic分区的对应关系如下:
      • Topic分区数=并发消费数:一个线程消费一个Topic分区。建议使用。
      • Topic分区数>并发消费数:多个并发消费会均摊所有分区消费。
      • Topic分区数<并发消费数:一个线程消费一个Topic分区,多出的消费数无效。
      2
      消费位点
      • 最新位点:从最新位点开始消费。
      • 最早位点:从最初位点开始消费。
      最新位点
      网络配置有跨境传输数据需求时选择自建公网,其他情况可选择默认网络默认网络
      表 2. 目标(日志服务SLS)
      参数说明示例
      日志项目已创建的日志服务SLS Project。guide-sls-sink-project
      日志库已创建的日志服务SLS Logstore。guide-sls-sink-logstore
      日志主题SLS日志Topic生成方式。
      角色配置授权事件总线EventBridge写入SLS的权限,如果没有角色,可按照控制台提示授权创建新角色即可。sls_eb
    完成上述配置后,在消息流出(Sink)页面,找到刚创建的SLS Sink Connector任务,单击其右侧操作列的启动。当状态栏由启动中变为运行中时,Connector创建成功。

步骤三:测试SLS Sink Connector

  1. 消息流出(Sink)页面,在SLS Sink Connector任务的事件源列单击源Topic。
  2. 在Topic详情页面,单击体验发送消息
  3. 快速体验消息收发面板,按照下图配置消息内容,然后单击确定
    发送消息
  4. 消息流出(Sink)页面,在SLS Sink Connector任务的事件目标列单击目标Project。
  5. 在日志库页面,查看日志内容。
    日志