新建 Kafka 数据源

配置好数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。

安全风险提醒

使用 OceanBase 数据传输服务,您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段,但可能存在安全风险。一旦使用本产品代表您已理解和确认其中可能存在的安全风险,并且您需要采取基本的安全防护措施,包括但不限于加强账号密码的复杂度、限制各网段开放的端口号、内部 API 采用鉴权方式进行通信,或者定期检查并限制无需访问的 IP 地址段。

OceanBase 数据传输服务会根据业务需求和安全风险等因素对自动添加的白名单或安全组进行调整操作(增加或删除),请勿将白名单或安全组中的 IP 地址段应用于非 OceanBase 数据传输服务的业务需求。如果因为您将其应用于其他业务需求导致的问题,不在 OceanBase 数据传输服务的 SLA 保障范围内。OceanBase 数据传输服务自动或手动添加的白名单或安全组,请参见 OceanBase 数据传输服务 添加白名单 模块的文档。

使用限制

数据传输仅支持 Kafka 数据源作为数据同步的目标端。

背景信息

数据传输的安全问题,贯穿服务连通性验证、链路创建和数据传输过程。基于 Kafka 服务提供的安全体系,数据传输在数据加密和用户认证上均有一定的支持,以满足绝大部分安全需求。

数据传输支持的 Kafka 认证方式包括:

  • GSSAPI

    GSSAPI(Generic Security Services Application Program Interface)是通用安全服务应用程序接口。GSSAPI 是一个以通用方式为调用方提供安全服务的框架,该框架也支持实现 Kerberos 协议。

  • PLAIN

    PLAIN 认证方式较为简单,但无法动态变更用户,且明文配置用户名和密码,安全性不高。

  • SCRAM-SHA-256

    SCRAM(Salted Challenge Response Authentication Mechanism)认证方式通过执行用户名和密码认证的传统机制来解决安全问题。Kafka 支持 SCRAM-SHA-256,可以和 TLS 一起使用执行安全认证。

    该认证方式可以实现动态变更用户,用户数据存储在 Zookeeper 中。启动 Broker 前,需要先与 Zookeeper 通信,创建和 Broker 之间的通信用户。但该认证方式需要明文配置用户名和密码。

  • SCRAM-SHA-512

    Kafka 支持 SCRAM-SHA-512,可以与 TLS 一起使用执行安全认证。

操作步骤

  1. 登录 OceanBase 管理控制台

  2. 在左侧导航栏,单击 数据传输 > 数据源管理

  3. 数据源列表 页面,单击右上角的 新建数据源

    image.png

  4. 新建数据源 对话框,选择 数据源类型Kafka

    image.png

  5. 选择 实例类型,配置各项参数。

    • 选择 阿里云 Kafka 实例 时,配置参数如下。阿里云 Kafka 实例的详情请参见 Java SDK概述

      参数

      描述

      数据源标识

      建议使用中文、数字和字母的组合。名称中不能包含空格,长度限制为 32 个字符。

      是否跨阿里云主账号

      数据传输支持对不同阿里云主账号下的实例配置数据迁移或数据同步任务,实现跨阿里云主账号的数据迁移或数据同步。

      您可以根据业务需求选择是否勾选。如果勾选,请输入对方阿里云主账号。如果不具备该主账号的权限,请先申请授权。授权详情请参见 申请跨账号授权

      Kafka 实例 ID

      用户申请 Kafka 实例的唯一 ID。

      接入点

      Kafka 服务器 IP 地址及端口列表,系统会自动导入。

      用户名

      Kafka 的登录用户名。

      密码

      Kafka 的登录密码。

      备注(可选)

      数据源的备注信息。

    • 选择 VPC 内自建 Kafka 实例公网 Kafka 实例 时,配置参数如下。

      参数

      描述

      数据源标识

      建议使用中文、数字和字母的组合。名称中不能包含空格,长度限制为 32 个字符。

      是否跨阿里云主账号

      数据传输支持对不同阿里云主账号下的实例配置数据迁移或数据同步任务,实现跨阿里云主账号的数据迁移或数据同步。

      您可以根据业务需求选择是否勾选。如果勾选,请输入对方阿里云主账号。如果不具备该主账号的权限,请先申请授权。授权详情请参见 申请跨账号授权

      重要

      选择实例类型为 公网 Kafka 实例 时,不会显示该参数。

      VPC

      从下拉列表中选择用户申请公有云 VPC 的唯一 ID。

      重要

      仅选择实例类型为 VPC 内自建 Kafka 实例 时,会显示该参数。

      VPC 内部署/跨网络部署

      跨网络部署是指源端和目标端数据源位于不同的网络(包含不同的 VPC 或云服务供应商)。请根据业务需求,选择 VPC 内部署跨网络部署,并在 交换机 下拉列表中选择 Kafka 服务所有 bootstrap serverbroker server 所在的交换机。同时,请将交换机网段一并加入至当前 VPC 的安全组白名单内。

      交换机(vSwitch)是组成专有网络 VPC 的基础网络模块,用于连接不同的云资源实例。详情请参见 交换机概述

      重要
      • 仅选择实例类型为 VPC 内自建 Kafka 实例 时,支持选择部署方式和交换机。

      • 跨网络部署时,静态路由地址(其它云或线下机房 VPC 中的地址或网段)会根据选择的第一个交换机自动关联处理。

      接入点

      输入 Kafka 服务器 IP 地址及端口列表。

      启用 SSL

      根据业务需求,选择是否启用 SSL。如果启用,请单击 上传文件,上传后缀名为 .jks 的授信证书。

      开启认证

      根据业务需求,选择是否开启认证。Kafka 提供了数据加密和多种身份认证机制的配置来保证用户数据和服务的安全。

      认证方式

      如果开启认证,则需要选择认证方式。目前数据传输支持的认证方式包括 GSSAPI、PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。

      KDC 服务器地址

      输入 Kerberos 的服务器 KDC 的 IP 或域名。

      请注意:仅选择认证方式为 GSS-API 时,才会显示该参数。

      用户主体

      输入用户名。

      请注意:仅选择认证方式为 GSS-API 时,才会显示该参数。

      keytab 文件

      单击 上传文件,上传后缀名为 .keytab 的密钥文件。

      请注意:仅选择认证方式为 GSS-API 时,会显示该参数。

      用户名

      请注意用于数据迁移或数据同步的用户名称。

      请注意:选择认证方式为 GSS-API 时,不会显示该参数。

      密码

      用于数据迁移或数据同步的用户密码。

      请注意:选择认证方式为 GSS-API 时,不会显示该参数。

      备注(可选)

      数据源的备注信息。

  6. 单击 测试连接,验证数据传输和数据源的网络连接,以及用户名和密码的有效性。

  7. 测试连接通过后,单击 确定