本文介绍自定义连接器的功能及相关概念。

背景信息

在创建事件流任务时,事件总线EventBridge支持将事件提供方选择为自定义连接器(CustomConnector)。自定义连接器是事件流的补充功能,它基于Serverless应用引擎SAE(Serverless App Engine)构建底层资源,存储各个自定义连接器的元数据信息,协调并组织各资源完成相关连接器的创建。更多信息,请参见什么是Serverless应用引擎?

消息中间件产品Kafka被广泛应用于数据的ETL过程,用于对离线或在线数据进行分发、消费等。但数据的源端与目标端缺乏一个无缝的通道对数据进行快速传输。自定义连接器当前支持Apache Kafka集群,使用Kafka Connect的开源框架,可以在Kafka集群与外部系统(如数据库、消息队列、文件系统)之间打造一个可靠的流式数据传输通道,使数据传输更弹性、低时延、高效率。

自定义连接器

组件和架构

自定义连接器的几个重要概念包括连接器(Connectors)、任务(Tasks)、工作者(Workers)和运行日志(Logs)。

Connectors

Connectors定义了数据集成的代码逻辑部分、相关资源配置以及运行配置,此部分决定了数据导入的源服务及数据写入的目标端。自定义连接器支持您将包含连接配置的ZIP文件上传至控制台,以实现低代码快速创建自定义连接器任务。连接器部分自定义代码,请参见Kafka Connectors

Tasks

Tasks是无状态逻辑执行单元,每个Connector实例会协同管理多个Tasks单元用于进行数据传输。

Workers

Workers是运行连接器的实体资源,底层采用SAE应用承载,会在相关账号下创建SAE资源。

Logs

自定义连接器全部资源均托管在当前创建账号的SAE资源内,Connectors运行需要自行维护和管理。目前支持将运行日志输出到日志服务SLS和消息队列Kafka版中进行分析。

自定义连接器架构如下图所示。

架构