迁移Elasticsearch查询方案到日志服务

背景信息

例如用户A一直使用ELK系统（Elasticsearch、Logstash和Kibana）实现日志的采集和可视化，但随着日志规模的增大，遇到了日志系统稳定性和成本的挑战。针对该问题，用户A考虑使用日志服务作为日志系统。目前，日志服务提供了Elasticsearch兼容接口，支持将日志采集到日志服务后，仍可以沿用Elasticsearch的查询方案。

优势

使用日志服务的Elasticsearch兼容查询方案，具备如下优势。

• 日志服务提供高可用的存储、查询引擎，全托管，无需运维投入。

• 无需使用Logstash中转数据，提高了日志查询的实时性。

• 无需使用Kafka和Elasticsearch，避免占用机器资源。只需按照实际使用量付费。

• 兼容Elasticsearch生态、程序（Kibana、API访问等）。

迁移前的日志系统架构

ELK系统（Elasticsearch、Logstash和Kibana）架构示例如下图所示。

• 使用Filebeat采集数据。

• 使用3台Kafka机器缓存数据。

• 使用2台Logstash机器将数据从Kafka同步到Elasticsearch。

• 使用5台Elasticsearch机器存储和查询日志。

• 使用Kibana可视化查询日志，使用Grafana制作报表和设置告警。

迁移目标

• 平滑迁移，迁移期间不影响原有的Elasticsearch链路。

• 尽可能沿用Elasticsearch的使用习惯。

迁移方案

步骤一：执行日志双写

在迁移过程中，同时使用如下两条链路采集日志，两条链路互不影响。

• 链路1：使用Filebeat采集日志到Elasticsearch。

• 链路2：使用Logtail采集日志到日志服务。

将日志采集到日志服务后，继续使用Grafana和Kinbana查询、分析和可视化展示日志。具体操作，请参见使用Kibana和Elasticsearch兼容接口分析日志服务数据、使用Grafana和Elasticsearch兼容接口分析日志服务数据。

步骤二：删除Filebeat采集链路

在确保双写链路中的日志服务链路满足需求后，去掉Filebeat采集链路，完成采集方式的切换。