Connector概述

云消息队列 Kafka 版提供全托管、免运维的Connector,用于云消息队列 Kafka 版和其他阿里云服务之间的数据同步。本文介绍Connector支持的数据同步任务的类型、使用流程、使用限制以及跨地域数据同步。

重要

云消息队列 Kafka 版的Connector组件处于公测阶段,且独立于云消息队列 Kafka 版实例,因此不会在云消息队列 Kafka 版侧产生费用。同时,阿里云不承诺Connector的SLA,使用Connector所依赖的其他产品的SLA和费用说明请以对应产品为准。

Connector类型

云消息队列 Kafka 版支持以下两大类的Connector:

  • Sink Connector:Sink代表数据向外流转,即云消息队列 Kafka 版为数据源,其他产品为数据目标。

    Connector

    描述

    文档

    FC Sink Connector

    将数据从云消息队列 Kafka 版导出,同步至函数计算。

    创建FC Sink Connector

    MaxCompute Sink Connector

    将数据从云消息队列 Kafka 版导出,同步至大数据计算服务MaxCompute。

    创建MaxCompute Sink Connector

    OSS Sink Connector

    将数据从云消息队列 Kafka 版导出,同步至对象存储OSS。

    创建OSS Sink Connector

    Elasticsearch Sink Connector

    将数据从云消息队列 Kafka 版导出,同步至阿里云Elasticsearch。

    创建Elasticsearch Sink Connector

    DLA Sink Connector

    将数据从云消息队列 Kafka 版导出,同步至云原生数据湖分析DLA(Data Lake Analytics)。

    创建DLA Sink Connector

    Tablestore Sink Connector

    将数据从云消息队列 Kafka 版实例的数据源Topic导出,同步至表格存储(Tablestore)。

    创建Tablestore Sink Connector

    AnalyticDB Sink Connector

    将数据从云消息队列 Kafka 版实例的数据源Topic导出,同步至云原生数据仓库 AnalyticDB MySQL 版云原生数据仓库 AnalyticDB PostgreSQL 版

    创建AnalyticDB Sink Connector

  • Source Connector:Source代表数据向内流转,即云消息队列 Kafka 版为数据目标,其他产品为数据源。

    Connector

    描述

    文档

    MySQL Source Connector

    将数据从阿里云数据库RDS MySQL版导出,同步至云消息队列 Kafka 版

    创建MySQL Source Connector

使用流程

Connector的使用流程如下:

  1. 开启Connector

  2. 创建Connector

  3. Connector相关操作

使用限制

云消息队列 Kafka 版对Connector的限制如下:

项目

限制值

数量

单实例最多创建20个。您可以创建多个Connector任务将同一实例的数据导出到不同的服务中。

地域

该功能目前有个别地域未开通。具体信息,请参见开服地域

跨地域数据同步

如果您需要将某个地域的数据,通过Connector同步到另一个地域的阿里云服务,您需要为该Connector开启公网访问,然后在公网进行数据同步。具体操作步骤,请参见为Connector开启公网访问

说明

MySQL Source Connector的跨地域数据同步比较特殊,需要您自行开通企业网。更多信息,请参见创建MySQL Source Connector