RDS数据源配置
云数据库(Relational Database Service,即关系型数据库服务,简称RDS)是阿里云对外提供的一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务(了解RDS )。
购买RDS前须知
购买RDS实例时,必须是常规实例,双机高可用版(不支持5.2以下,8以上版本,支持8.0)。注意:RDS mysql基础版和三节点企业版为非高可用版,不支持。
RDS实例必须隶属于当前登录阿里云账号才能访问使用。
RDS实例所在区域必须与OpenSearch应用区域一致。
不支持RDS clone实例,否则应用激活后状态一直处于初始化。
不支持的RDS实例及不满足相关限制的RDS实例索引重建将会失效。
OpenSearch在2021年1月1日对离线服务做出了升级,后续北京、深圳区域接入的新应用RDS数据源只支持vpc网络
温馨提示:
目前支持的外网区域:华东1、华东2、华北1、华北2、华南1、新加坡,不支持DRDS数据源。
支持功能
支持增量实时同步(默认勾选)。
支持(手动/定时)拉取指定数据库表全量。
支持单个或多个数据源表数据横向合并,要求这些源表结构及数据源插件配置必须完全相同,并且主键值均不重复(主键值重复会覆盖),主要支持以下2种场景:
应用表中配有一个数据源,并且包含多个源表。
应用表中配有多个数据源,并且各数据源包含1个或多个源表。
支持数据源字段转换插件。
支持(全量/增量)过滤条件。
支持通过通配符
*
匹配数据库表名。
相关限制
只支持RDS的binlog为full模式(否则拉取增量会不全)。
只支持RDS中的Mysql常规实例 (双机高可用版)。
不支持5.2以下,8以上版本,支持8.0。
RDS实例必须隶属于当前登录阿里云账号才能访问。
RDS实例所在区域必须与OpenSearch应用区域一致。
标准版应用在配置RDS数据源后,不支持(SDK/API)推送增量。
(外网区域)标准版应用的RDS数据源,暂不支持数据源过滤条件。
不支持replace into语法。
不支持truncate和drop命令,请使用delete命令删除数据。
不支持通过视图同步增量。
不支持RDS clone实例,否则应用激活后状态一直处于初始化。
RDS 访问密码不能包含
%
符号,会导致索引重建任务失败。不支持通过RDS高权限账号访问。(否则连接RDS会失败)。
不支持在不同数据库源表结构之间做字段列合并。
不支持无binlog的replica client 和 replica slave。检查及开启方式,请点击查看文档。
注意事项
如果是drds后挂 数据源(RDS/polardb)接入到opensearch,则需要在数据源配置的时候,配置drds下的实际分库的库名(drds下的数据库会被分成一个影子库和8个分库实际分库,写入数据会随机写入到分库实际分库中)
RDS支持内/外网的域名切换,OpenSearch对RDS数据获取均不收取任何流量费用。
OpenSearch仅支持从主库拉取全量数据,建议根据您的业务繁忙情况,选择低峰期索引重建导入全量数据。
RDS表中datetime及timestamp此类时间类型,系统会自动转化为毫秒数,请将对应应用表字段类型设置为TIMESTAMP。
外网区域RDS实例,需要申请内网地址后才能访问,否则会提示连接RDS服务失败,请稍后再试。
不符合数据源过滤条件的(增量/全量)文档会被过滤,并且如果对应应用表中存在相同主键值的文档也会一并删除。
账号授权问题
mysql5.7+ 接入&使用建议:
mysql5.7+ 接入时,需要授权访问rds实例。并且填写账号密码, 第一次接入时,请谨慎选择账号密码。
【确保账号权限】必须确保账号能有查看该库所有表的权限(上游dts服务的限制), 保证能正确执行 show create table
*
. *,如果没有。可能会发生实时服务同步出现问题。【少做账号权限变更】当前OpenSearch实时任务也是mysql的客户端。账号变更会带来当前实时任务的不能正常消费。同时新版本创建也会受影响。若变更账号密码,需要删除实例重新接入库。
OpenSearch需要用户rds的最小权限是:1. show create table权限;2. REPLICATION SLAVE 或 REPLICATION CLIENT权限;3. binlog_row_image为FULL;4. binlog_format 为ROW
常见问题
使用RAM子账号在控制台中为应用配置RDS数据源,必须要对该RAM子账号进行授权,否者会提示连接RDS服务失败,请稍后再试,参考 授权访问鉴权规则 文档。
RDS访问密码不能包含
%
符号,否则会导致索引重建任务失败。(报错提示: Illegal hex characters in escape (%) pattern)。系统要求应用表主键值唯一,如果分表情况下主键值有重复会覆盖,可使用StringCatenateExtractor数据源插件合并多个字段值,来源字段为
pk,$table
(pk替换为RDS表主键字段,$table为默认系统变量,表示对应数据库表名),拼接字符为-
(可自定义)。例如,RDS表为my_table_0
,主键字段值为123456
,拼接后新主键值为123456-my_table_0
。根据数据库表中的date或datetime字段类型过滤数据,假设数据库表字段名为createtime,则数据源过滤条件中的时间格式必须为
createtime>'2018-03-01 00:00:00'
,如果使用createtime>'2018-3-1 00:00:00'
这种格式会报错。
配置RDS数据源流程
在快速搭建应用过程,配置RDS数据源。
已创建应用可通过应用详情页——“线下变更”修改。
控制台配置步骤及注意事项
1.选择RDS数据源,点击新的数据库。

2.RDS信息填写完成后,点击连接按钮。

参数名称 | 说明 |
---|---|
实例ID | RDS数据库的实例ID(不是名称),可以在RDS控制台中获取(大小写敏感),暂不支持只读实例,需填写的实例ID格式参考: rm-bp19b4g5n11111111 |
数据库名 | 该实例下需要连接的数据库名(大小写不敏感)。 |
用户名 | 数据库只读账号,用于获取数据库表模式及全量数据(大小写敏感且具有只读权限)。 |
密码 | 只读帐户对应的密码。 |
授权 | 对OpenSearch获取RDS数据做授权操作,在用户设置了IP白名单的情况下,OpenSearch会将所用IP添加到用户白名单中。若不勾选授权,则连接数据不会高亮显示。 |
OpenSearch会尝试连接,并根据具体情形,给出结果提示:
提示信息 | 处理方法 |
---|---|
当前用户的当前区域没有此RDS实例 | 请检查实例ID是否正确,并确保RDS实例所在区域与OpenSearch应用区域一致。如果条件符合仍然报错,可提工单反馈 |
连接RDS服务失败 | 请检查RDS连接串是否正确包括实例ID、数据库名、用户名、密码 |
当前RDS数据库下没有此表 | 请检查表名填写是否正确,以及RDS数据库中是否确实存在该表 |
3.已建立数据源连接界面如下,选择对应表,并单击向右箭头,保存到右侧已选择界面。

选择或输入该数据库下需要访问的表名(大小写敏感)。
支持分表规则 table_* 的方式,例如 table_a、table_b 等。
4.字段映射,选择需要拉取的数据库字段。单击确定,完成应用创建。

在该界面可以添加需要映射同步的数据库字段。
在该界面中的内容转换,可以添加数据源插件,插件的使用及说明文档,请点击此处。

5.配置RDS数据源过滤条件。

OpenSearch应用表中也可配置多个数据源,但最终这些表结构及配置必须完全相同。
rds数据源配置的过滤条件只能拉取符合该条件的记录,详细配置请参考数据源过滤条件。
数据自动同步,表示是否自动同步用户数据库的增量数据(默认开启)。
在文档使用中是否遇到以下问题
更多建议
匿名提交