非服务区域RDS/PolarDB实例接入方案

背景

• 阿⾥云客户存在⾮ OpenSearch 服务区 RDS资源；

• ⽤户有搜索⽂档搜索需求；

• OpenSearch 只能接⼊服务区域当前区域内 RDS/PolarDB；

• 存在⾃建 MySQL 场景期望接⼊OpenSearch ⽂档检索服务。

方案选型

• 需求：

  • 能实现异地 RDS/ PolarDB 接⼊ OpenSearch；

  • 能实现异地实例数据流转到可接⼊服务区域；

  • 能实现数据流⽆损/ 保序/结构⼀致；

  • 能实现全量/增量进⼊ OpenSearch。

• ⽅案：

  • （⾮实时性） RDS/PolarDB -> MaxCompute -> OpenSearch；

  • （准实时性） RDS/PolarDB（异地） -> DTS -> RDS/PolarDB（当前） -> OpenSearch；

  • （准实时性） RDS/PolarDB（异地） -> DTS（全量） -> RDS/PolarDB（当前） -> OpenSearch+ API 推送。

• 对⽐评估：

实施步骤

1. 创建⽬标区域 RDS/PolarDB 实例：

   1. 在⽬标区域购买⽬标实例;

   2. 创建数据库及管理账号（需要有操作权限 DDL+DML ）;

2. 创建 DTS 任务并配置;

   1. 购买 DTS 服务（可能涉及初次开通动作）;

   2. 选择 OpenSearch⽬标区域配置数据迁移任务.

   3. 配置 DTS 任务配置步骤. 请详询 DTS 产品⽂档-数据迁移章节;

      1. 您的任务若是跨域实例迁移，源 RDS 实例必须有外⽹连接，请到 RDS 控制台申请外 ⽹地址;

      2. 实例数据安全⽩名单配置⽆需修改. 实测仅保留 127.0.0.1 情况下, 数据链接可检查通过.

3. 创建 OpenSearch 实例：

   1. 待 ⽬标区域 RDS/PolarDB实例表数据全量任务完成后. 配置 OpenSearch App；

   2. APP 配置 RDS/PolarDB 数据源. 请参考： OpenSearch 帮助⽂档- 应⽤管理-配置应⽤-数据源章节；

   3. 数据实时性取决于两个数据流节点（迁移及OpenSearch 导⼊）, 数据实时性差异不⼤. 关于 OpenSearch 产品的其他问题, 亦请参考 帮助⽂档.