非服务区域RDSPolarDB实例接入方案

背景

  • 阿⾥云客户存在⾮ OpenSearch 服务区 RDS资源;

  • ⽤户有搜索⽂档搜索需求;

  • OpenSearch 只能接⼊服务区域当前区域内 RDS/PolarDB;

  • 存在⾃建 MySQL 场景期望接⼊OpenSearch ⽂档检索服务。

方案选型

  • 需求:

    • 能实现异地 RDS/ PolarDB 接⼊ OpenSearch;

    • 能实现异地实例数据流转到可接⼊服务区域;

    • 能实现数据流⽆损/ 保序/结构⼀致;

    • 能实现全量/增量进⼊ OpenSearch。

  • ⽅案:

    • (⾮实时性) RDS/PolarDB -> MaxCompute -> OpenSearch;

    • (准实时性) RDS/PolarDB(异地) -> DTS -> RDS/PolarDB(当前) -> OpenSearch;

    • (准实时性) RDS/PolarDB(异地) -> DTS(全量) -> RDS/PolarDB(当前) -> OpenSearch+ API 推送。

  • 对⽐评估:

数据源

全量

增量

资源消耗

方案难易

费用消耗(可能)

DTS

支持

支持

RDS+ DTS(数据迁移-全量+增量)

RDS计费及 DTS ⽇账 单

MaxCompute

支持

支持(每天定时)

MaxCompute 专业版(⽉) + 独享集群资源+云企业⽹ +资源授权+ 区域限制

MaxCompute 资源及 独享集群

API/SDK + DTS

支持

支持

开发成本及调试/DTS(数据迁移-全量)

RDS 计费+ DTS(数据迁 移-全量)

实施步骤

  1. 创建⽬标区域 RDS/PolarDB 实例:

    1. 在⽬标区域购买⽬标实例;

    2. 创建数据库及管理账号(需要有操作权限 DDL+DML );

  2. 创建 DTS 任务并配置;

    1. 购买 DTS 服务(可能涉及初次开通动作);

    2. 选择 OpenSearch⽬标区域配置数据迁移任务.

    3. 配置 DTS 任务配置步骤. 请详询 DTS 产品⽂档-数据迁移章节;

      1. 您的任务若是跨域实例迁移,源 RDS 实例必须有外⽹连接,请到 RDS 控制台申请外 ⽹地址;

      2. 实例数据安全⽩名单配置⽆需修改. 实测仅保留 127.0.0.1 情况下, 数据链接可检查通 过.

  3. 创建 OpenSearch 实例:

    1. 待 ⽬标区域 RDS/PolarDB实例表数据全量任务完成后. 配置 OpenSearch App;

    2. APP 配置 RDS/PolarDB 数据源. 请参询 OpenSearch 帮助⽂档- 应⽤管理-配置应⽤-数据源章 节;

    3. 数据实时性,取决于两个数据流节点(迁移及 OpenSearch 导⼊), 数据实时性差异不⼤. 关于 OpenSearch 产品的其他问题, 亦请参考 帮助⽂档.

重要

DTS 任务迁移限制, 配置规则, 计费策略, 均在⽂档中详述,参考: