| Logstash JDBC数据同步 |
通过logstash-input-jdbc插件实现通过Logstash批量查询PolarDB-X中的数据，并将数据迁移到Elasticsearch。实现的本质是该插件会定期对PolarDB-X中的数据进行循环轮询，从而在当前循环中找到上次插入或更改的记录，然后批量查询这些记录并迁移至Elasticsearch。
|
- 同步全量数据，接受秒级延迟的场景。
- 批量查询数据然后进行同步的场景。
|
- 使用前，需要先在Logstash中上传与PolarDB-X版本兼容的SQL JDBC驱动。
- 需要在PolarDB-X的白名单中加入Logstash集群中节点的IP地址。
- 需要确保Logstash和PolarDB-X实例在同一时区（避免同步过程中出现时间标记不符的情况）。
- 需要确保Elasticsearch中的_id字段与PolarDB-X中的_id字段相同。
- 当您在PolarDB-X中插入或更新数据时，需要确保对应记录有一个包含更新或插入时间的字段。
|
通过Logstash将PolarDB-X（DRDS）数据同步至Elasticsearch |
| DataWorks实现离线数据同步 |
DataWorks是一款提供数据集成、数据开发及数据质量等全方位的产品服务。支持引入并存储关系型数据，然后进行转化和开发，最后将处理后的数据同步到Elasticsearch或其他数据系统。 |
- 大数据离线同步场景（可实现最快5分钟一次的离线数据采集任务）。
- 需要自定义查询语句，以及多表联合查询后同步数据的场景。
- 同步整个数据库中数据的场景。
|
- 需要开通DataWorks服务。
- 对于传输速度要求较高或复杂环境中的数据源同步场景，需要自定义资源组。
- 需要在PolarDB-X的白名单中添加资源组的IP地址。
|
通过DataWorks将PolarDB-X（DRDS）数据离线同步至Elasticsearch |
