迁移Elasticsearch查询方案到日志服务

日志服务提供Elasticsearch兼容接口,支持您将日志采集到日志服务后,仍可以沿用Elasticsearch的查询方案。

重要

本文档为阿里云原创文档,知识产权归阿里云所有,由于本文档旨在介绍阿里云与第三方产品交互的服务能力,因此可能会提及第三方公司或产品等名称。

背景信息

例如用户A一直使用ELK系统(Elasticsearch、Logstash和Kibana)实现日志的采集和可视化,但随着日志规模的增大,遇到了日志系统稳定性和成本的挑战。针对该问题,用户A考虑使用日志服务作为日志系统。目前,日志服务提供了Elasticsearch兼容接口,支持将日志采集到日志服务后,仍可以沿用Elasticsearch的查询方案。

优势

使用日志服务的Elasticsearch兼容查询方案,具备如下优势。

  • 日志服务提供高可用的存储、查询引擎,全托管,无需运维投入。

  • 无需使用Logstash中转数据,提高了日志查询的实时性。

  • 无需使用Kafka和Elasticsearch,避免占用机器资源。只需按照实际使用量付费。

  • 兼容Elasticsearch生态、程序(Kibana、API访问等)。

迁移前的日志系统架构

ELK系统(Elasticsearch、Logstash和Kibana)架构示例如下图所示。

image
  • 使用Filebeat采集数据。

  • 使用3台Kafka机器缓存数据。

  • 使用2台Logstash机器将数据从Kafka同步到Elasticsearch。

  • 使用5台Elasticsearch机器存储和查询日志。

  • 使用Kibana可视化查询日志,使用Grafana制作报表和设置告警。

迁移目标

  • 平滑迁移,迁移期间不影响原有的Elasticsearch链路。

  • 尽可能沿用Elasticsearch的使用习惯。

迁移方案

步骤一:执行日志双写

在迁移过程中,同时使用如下两条链路采集日志,两条链路互不影响。

  • 链路1:使用Filebeat采集日志到Elasticsearch。

  • 链路2:使用Logtail采集日志到日志服务。

将日志采集到日志服务后,继续使用Grafana和Kinbana查询、分析和可视化展示日志。具体操作,请参见使用Kibana和Elasticsearch兼容接口分析日志服务数据使用Grafana和Elasticsearch兼容接口分析日志服务数据

image

步骤二:删除Filebeat采集链路

在确保双写链路中的日志服务链路满足需求后,去掉Filebeat采集链路,完成采集方式的切换。