RDS数据源配置

云数据库（Relational Database Service，即关系型数据库服务，简称RDS）是阿里云对外提供的一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务（了解RDS ）。

购买RDS前须知

• 购买RDS实例时，必须是常规实例，双机高可用版（不支持5.2以下，8以上版本，支持8.0）。注意：RDS mysql基础版和三节点企业版为非高可用版，不支持。

• RDS实例必须隶属于当前登录阿里云账号才能访问使用。

• RDS实例所在区域必须与OpenSearch应用区域一致。

• 不支持RDS clone实例，否则应用激活后状态一直处于初始化。

• 不支持的RDS实例及不满足相关限制的RDS实例索引重建将会失效。

• OpenSearch在2021年1月1日对离线服务做出了升级，后续北京、深圳区域接入的新应用RDS数据源只支持vpc网络

温馨提示：

• 目前支持的外网区域：华东1、华东2、华北1、华北2、华南1、新加坡，不支持DRDS数据源。

支持功能

• 支持增量实时同步（默认勾选）。

• 支持（手动/定时）拉取指定数据库表全量。

• 支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：

  • 应用表中配有一个数据源，并且包含多个源表。

  • 应用表中配有多个数据源，并且各数据源包含1个或多个源表。

• 支持数据源字段转换插件。

• 支持（全量/增量）过滤条件。

• 支持通过通配符*匹配数据库表名。

相关限制

• 只支持RDS的binlog为full模式（否则拉取增量会不全）。

• 只支持RDS中的Mysql常规实例 （双机高可用版）。

• 不支持5.2以下，8以上版本，支持8.0。

• RDS实例必须隶属于当前登录阿里云账号才能访问。

• RDS实例所在区域必须与OpenSearch应用区域一致。

• 标准版应用在配置RDS数据源后，不支持（SDK/API）推送增量。

• （外网区域）标准版应用的RDS数据源，暂不支持数据源过滤条件。

• 不支持replace into语法。

• 不支持truncate和drop命令，请使用delete命令删除数据。

• 不支持通过视图同步增量。

• 不支持RDS clone实例，否则应用激活后状态一直处于初始化。

• RDS 访问密码不能包含%符号，会导致索引重建任务失败。

• 不支持通过RDS高权限账号访问。（否则连接RDS会失败）。

• 不支持在不同数据库源表结构之间做字段列合并。

• 不支持无binlog的replica client 和 replica slave。检查及开启方式，请点击查看文档。

注意事项

• 如果是drds后挂 数据源（RDS/polardb）接入到opensearch，则需要在数据源配置的时候，配置drds下的实际分库的库名（drds下的数据库会被分成一个影子库和8个分库实际分库，写入数据会随机写入到分库实际分库中）

• RDS支持内/外网的域名切换，OpenSearch对RDS数据获取均不收取任何流量费用。

• OpenSearch仅支持从主库拉取全量数据，建议根据您的业务繁忙情况，选择低峰期索引重建导入全量数据。

• RDS表中datetime及timestamp此类时间类型，系统会自动转化为毫秒数，请将对应应用表字段类型设置为TIMESTAMP。

• 外网区域RDS实例，需要申请内网地址后才能访问，否则会提示连接RDS服务失败，请稍后再试。

• 不符合数据源过滤条件的（增量/全量）文档会被过滤，并且如果对应应用表中存在相同主键值的文档也会一并删除。

账号授权问题

mysql5.7+ 接入&使用建议:

• mysql5.7+ 接入时，需要授权访问rds实例。并且填写账号密码, 第一次接入时，请谨慎选择账号密码。

• 【确保账号权限】必须确保账号能有查看该库所有表的权限（上游dts服务的限制）， 保证能正确执行 show create table *. *，如果没有。可能会发生实时服务同步出现问题。

• 【少做账号权限变更】当前OpenSearch实时任务也是mysql的客户端。账号变更会带来当前实时任务的不能正常消费。同时新版本创建也会受影响。若变更账号密码，需要删除实例重新接入库。

• OpenSearch需要用户rds的最小权限是：1. show create table权限；2. REPLICATION SLAVE 或 REPLICATION CLIENT权限；3. binlog_row_image为FULL；4. binlog_format 为ROW

常见问题

• 使用RAM子账号在控制台中为应用配置RDS数据源，必须要对该RAM子账号进行授权，否者会提示连接RDS服务失败，请稍后再试，参考 授权访问鉴权规则 文档。

• RDS访问密码不能包含%符号，否则会导致索引重建任务失败。（报错提示： Illegal hex characters in escape (%) pattern）。

• 系统要求应用表主键值唯一，如果分表情况下主键值有重复会覆盖，可使用StringCatenateExtractor数据源插件合并多个字段值，来源字段为pk,$table（pk替换为RDS表主键字段，$table为默认系统变量，表示对应数据库表名），拼接字符为-（可自定义）。例如，RDS表为my_table_0，主键字段值为123456，拼接后新主键值为123456-my_table_0。

• 根据数据库表中的date或datetime字段类型过滤数据，假设数据库表字段名为createtime，则数据源过滤条件中的时间格式必须为 createtime>'2018-03-01 00:00:00'，如果使用 createtime>'2018-3-1 00:00:00'这种格式会报错。

配置RDS数据源流程

• 在快速搭建应用过程，配置RDS数据源。

• 已创建应用可通过应用详情页——“线下变更”修改。

控制台配置步骤及注意事项

1.选择RDS数据源，点击新的数据库。

2.RDS信息填写完成后，点击连接按钮。

OpenSearch会尝试连接，并根据具体情形，给出结果提示：

3.已建立数据源连接界面如下，选择对应表，并单击向右箭头，保存到右侧已选择界面。

• 选择或输入该数据库下需要访问的表名（大小写敏感）。

• 支持分表规则 table_* 的方式，例如 table_a、table_b 等。

4.字段映射，选择需要拉取的数据库字段。单击确定，完成应用创建。

• 在该界面可以添加需要映射同步的数据库字段。

• 在该界面中的内容转换，可以添加数据源插件，插件的使用及说明文档，请点击此处。

5.配置RDS数据源过滤条件。

• OpenSearch应用表中也可配置多个数据源，但最终这些表结构及配置必须完全相同。

• rds数据源配置的过滤条件只能拉取符合该条件的记录，详细配置请参考数据源过滤条件。

• 数据自动同步，表示是否自动同步用户数据库的增量数据（默认开启）。