当您在使用PolarDB-X(DRDS),需要进行全文检索和语义分析时,可将PolarDB-X中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎,可近乎于准实时地存储、查询和分析超大数据集。您可以通过Logstash和DataWorks两种方式将PolarDB-X中的数据同步至阿里云Elasticsearch。本文介绍各同步方案适用的场景,帮助您根据业务选择合适的方案同步数据。
同步方案 | 原理说明 | 适用场景 | 使用限制 | 相关文档 |
Logstash JDBC数据同步 | 通过logstash-input-jdbc插件批量查询PolarDB-X中的数据,并将数据同步到Elasticsearch。该插件会定期对PolarDB-X中的数据进行轮询,从而在当前循环中找到上次插入或更改的记录,然后批量查询这些记录并同步至Elasticsearch。 |
|
| |
DataWorks实现离线数据同步 | DataWorks是一款提供数据集成、数据开发及数据质量等全方位的产品服务。支持引入并存储关系型数据,然后进行转化和开发,最后将处理后的数据同步到Elasticsearch或其他数据系统。 |
|
|