同步方案选取指南

同步方案

原理说明

适用场景

使用限制

相关文档

DTS实现数据实时同步

通过订阅binlog的方式实现数据同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。

对数据同步的实时性要求较高的场景。

• DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库负载上升。

• 支持自定义索引Mapping，但需保证Mapping中定义的字段与MySQL中一致。

• 需要购买DTS数据同步作业。购买方式，请参见购买流程；定价说明，请参见计费概述。

通过DTS将MySQL数据实时同步到阿里云Elasticsearch

Logstash JDBC数据同步

通过logstash-input-jdbc插件实现通过Logstash批量查询RDS中的数据，并将数据迁移到Elasticsearch。实现的本质是该插件会定期对RDS中的数据进行循环轮询，从而在当前循环中找到上次插入或更改的记录，然后批量查询这些记录并迁移至Elasticsearch。与DTS同步方案相比，该方案的实时性较差，存在秒级延迟。

• 同步全量数据，接受秒级延迟的场景。

• 批量查询数据然后进行同步的场景。

• 使用前，需要先在Logstash中上传与RDS版本兼容的SQL JDBC驱动。

• 需要在RDS的白名单中加入Logstash集群中节点的IP地址。

• 需要确保Logstash和RDS在同一时区（避免同步过程中出现时间标记不符的情况）。

• 需要确保Elasticsearch中的_id字段与RDS中的id字段相同。

• 当您在RDS中插入或更新数据时，需要确保对应记录有一个包含更新或插入时间的字段。

通过Logstash将RDS MySQL数据同步至Elasticsearch

DataWorks实现离线数据同步

DataWorks是一款提供数据集成、数据开发及数据质量等全方位的产品服务。支持引入并存储关系型数据，然后进行转化和开发，最后将处理后的数据同步到Elasticsearch或其他数据系统。

• 大数据离线同步场景（可实现最快分钟级的离线数据采集任务）。

• 需要自定义查询语句，以及多表联合查询后同步数据的场景。

• 同步整个数据库中数据的场景。

• 需要开通DataWorks服务。

• 对于传输速度要求较高或复杂环境中的数据源同步场景，需要自定义资源组。

• 需要在RDS的白名单中添加资源组的IP地址。

通过DataWorks将MySQL数据同步至Elasticsearch

Canal实现MySQL数据同步

通过订阅binlog的方式实现数据实时同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。

对数据同步的实时性要求较高的场景。

• 需要手动在ECS上搭建Canal环境，会增加操作成本。

• Canal 1.1.4版本暂不支持Elasticsearch 7.x版本。建议使用Canal 1.1.5版本，或者通过其他方式（例如Logstash、DTS）实现MySQL数据同步。

• 支持自定义索引Mapping，但需保证Mapping中定义的字段与MySQL中一致。

• 需要您自行保证Canal的可用性，避免出现业务不可用或故障。例如：当出现ECS重启，Canal异常退出等场景时如何继续同步数据等。

通过Canal将MySQL数据同步到阿里云Elasticsearch