日志服务提供Elasticsearch兼容接口,支持您将日志采集到日志服务后,仍可以沿用Elasticsearch的查询方案。
本文档为阿里云原创文档,知识产权归阿里云所有,由于本文档旨在介绍阿里云与第三方产品交互的服务能力,因此可能会提及第三方公司或产品等名称。
背景信息
例如用户A一直使用ELK系统(Elasticsearch、Logstash和Kibana)实现日志的采集和可视化,但随着日志规模的增大,遇到了日志系统稳定性和成本的挑战。针对该问题,用户A考虑使用日志服务作为日志系统。目前,日志服务提供了Elasticsearch兼容接口,支持将日志采集到日志服务后,仍可以沿用Elasticsearch的查询方案。
优势
使用日志服务的Elasticsearch兼容查询方案,具备如下优势。
日志服务提供高可用的存储、查询引擎,全托管,无需运维投入。
无需使用Logstash中转数据,提高了日志查询的实时性。
无需使用Kafka和Elasticsearch,避免占用机器资源。只需按照实际使用量付费。
兼容Elasticsearch生态、程序(Kibana、API访问等)。
迁移前的日志系统架构
ELK系统(Elasticsearch、Logstash和Kibana)架构示例如下图所示。
使用Filebeat采集数据。
使用3台Kafka机器缓存数据。
使用2台Logstash机器将数据从Kafka同步到Elasticsearch。
使用5台Elasticsearch机器存储和查询日志。
使用Kibana可视化查询日志,使用Grafana制作报表和设置告警。
迁移目标
平滑迁移,迁移期间不影响原有的Elasticsearch链路。
尽可能沿用Elasticsearch的使用习惯。
迁移方案
步骤一:执行日志双写
在迁移过程中,同时使用如下两条链路采集日志,两条链路互不影响。
链路1:使用Filebeat采集日志到Elasticsearch。
链路2:使用Logtail采集日志到日志服务。
将日志采集到日志服务后,继续使用Grafana和Kinbana查询、分析和可视化展示日志。具体操作,请参见使用Kibana和Elasticsearch兼容接口分析日志服务数据、使用Grafana和Elasticsearch兼容接口分析日志服务数据。
步骤二:删除Filebeat采集链路
在确保双写链路中的日志服务链路满足需求后,去掉Filebeat采集链路,完成采集方式的切换。