背景
阿⾥云客户存在⾮ OpenSearch 服务区 RDS资源;
⽤户有搜索⽂档搜索需求;
OpenSearch 只能接⼊服务区域当前区域内 RDS/PolarDB;
存在⾃建 MySQL 场景期望接⼊OpenSearch ⽂档检索服务。
方案选型
需求:
能实现异地 RDS/ PolarDB 接⼊ OpenSearch;
能实现异地实例数据流转到可接⼊服务区域;
能实现数据流⽆损/ 保序/结构⼀致;
能实现全量/增量进⼊ OpenSearch。
⽅案:
(⾮实时性) RDS/PolarDB -> MaxCompute -> OpenSearch;
(准实时性) RDS/PolarDB(异地) -> DTS -> RDS/PolarDB(当前) -> OpenSearch;
(准实时性) RDS/PolarDB(异地) -> DTS(全量) -> RDS/PolarDB(当前) -> OpenSearch+ API 推送。
对⽐评估:
数据源 | 全量 | 增量 | 资源消耗 | 方案难易 | 费用消耗(可能) |
DTS | 支持 | 支持 | RDS+ DTS(数据迁移-全量+增量) | 易 | RDS计费及 DTS ⽇账 单 |
MaxCompute | 支持 | 支持(每天定时) | MaxCompute 专业版(⽉) + 独享集群资源+云企业⽹ +资源授权+ 区域限制 | 难 | MaxCompute 资源及 独享集群 |
API/SDK + DTS | 支持 | 支持 | 开发成本及调试/DTS(数据迁移-全量) | 中 | RDS 计费+ DTS(数据迁 移-全量) |
实施步骤
创建⽬标区域 RDS/PolarDB 实例:
在⽬标区域购买⽬标实例;
创建数据库及管理账号(需要有操作权限 DDL+DML );
创建 DTS 任务并配置;
购买 DTS 服务(可能涉及初次开通动作);
选择 OpenSearch⽬标区域配置数据迁移任务.
配置 DTS 任务配置步骤. 请详询 DTS 产品⽂档-数据迁移章节;
您的任务若是跨域实例迁移,源 RDS 实例必须有外⽹连接,请到 RDS 控制台申请外 ⽹地址;
实例数据安全⽩名单配置⽆需修改. 实测仅保留 127.0.0.1 情况下, 数据链接可检查通 过.
创建 OpenSearch 实例: