本文介绍自定义连接器中Workers的概念及配置。

背景信息

Workers是运行连接器逻辑的Java虚拟机 (JVM) 进程。每个Worker创建一组并行线程中的Tasks,并完成复制数据的工作。

Workers中的Tasks不存储状态,可以随时启动、停止或重新启动。SAE将提供弹性和可扩展的数据管道,通过CPU或者Memory水位阈值判断并在指定范围内自动进行弹性扩缩,满足Workers的弹性诉求。

Worker

Workers配置总览

Workers配置参数与开源Kafka Connect的配置参数兼容,配置全集请参见Confluent Kafka Connect配置

默认Workers配置

事件总线EventBridge提供了对Confluent Kafka Connect进行半托管的一站式平台,提供如下默认配置:
key.converter=org.apache.kafka.connect.storage.StringConverter
key.converter.schemas.enable=true
value.converter=org.apache.kafka.connect.storage.StringConverter
value.converter.schemas.enable=true

offset.flush.interval.ms=60000
request.timeout.ms=40000
task.shutdown.graceful.timeout.ms=10000

plugin.path=/opt/kafka/connect/plugins
rest.advertised.port=8083
topic.creation.enable=false
listeners=http://:8083

可自定义的Workers配置

事件总线EventBridge允许您自定义以下参数值,这些自定义配置将覆盖事件总线EventBridge提供的默认配置。

  • 必填参数配置项(事件总线EventBridge控制台会预设必填配置项):
    配置项说明示例
    bootstrap.serversKafka实例的接入点。用于与Kafka实例相连接。alikafka-post-cn-7mz301t5****.alikafka.aliyuncs.com:9092
    offset.storage.topic存储offsets信息的Topic名称。topic_offset
    config.storage.topic存储配置信息的Topic名称。topic_config
    status.storage.topic存储状态信息的Topic名称。topic_status
    group.id标识此Worker所属的Connect集群。test
    事件总线EventBridge控制台预设默认配置值:
    group.id=connect-eb-cluster-35345
    offset.storage.topic=connect-eb-offset-35345
    config.storage.topic=connect-eb-config-35345
    status.storage.topic=connect-eb-status-35345
    consumer.group.id=connector-eb-cluster-mongo-sink
    bootstrap.servers=alikafka-pre-cn-zpr3156gn006-1-vpc.alikafka.aliyuncs.com:9092,alikafka-pre-cn-zpr3156gn006-2-vpc.alikafka.aliyuncs.com:9092,alikafka-pre-cn-zpr3156gn006-3-vpc.alikafka.aliyuncs.com:9092
  • 选填参数配置项:
    key.converter
    key.converter.schemas.enable
    value.converter
    value.converter.schemas.enable
    exactly.once.source.support
    heartbeat.interval.ms
    rebalance.timeout.ms
    session.timeout.ms
    client.dns.lookup
    connections.max.idle.ms
    connector.client.config.override.policy
    receive.buffer.bytes
    request.timeout.ms
    send.buffer.bytes
    worker.sync.timeout.ms
    worker.unsync.backoff.ms
    access.control.allow.methods
    access.control.allow.origin
    admin.listeners
    client.id
    config.providers
    connect.protocol
    header.converter
    metadata.max.age.ms
    offset.flush.interval.ms
    offset.flush.timeout.ms
    reconnect.backoff.max.ms
    reconnect.backoff.ms
    retry.backoff.ms
    scheduled.rebalance.max.delay.ms
    task.shutdown.graceful.timeout.ms
    topic.tracking.allow.reset
    topic.tracking.enable

不可自定义的Workers配置

以下配置项不支持自定义设置。

  • 使用事件总线EventBridge提供默认值的配置项:
    plugin.path
    rest.advertised.port
    topic.creation.enable
    listeners
  • 不会传输至Kafka Connect的配置项。
    sasl.*
    ssl.*
    security.*
    rest.advertised.host.name
    rest.advertised.listener
    rest.extension.classes
    client.*
    inter.worker.*
    metrics.*
    metrics.context.*
    response.http.headers.config
    socket.*