Logstash通过管道完成数据的采集与处理,管道配置中包含input、output和filter(可选)插件,input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行,目前最多支持20个。本文介绍如何通过配置文件管理管道,包括创建管道、修改管道、复制管道和删除管道。
前提条件
您已完成以下操作:
- 创建阿里云Elasticsearch实例。
具体操作,请参见创建阿里云Elasticsearch实例。
- 开启目标阿里云Elasticsearch实例的自动创建索引功能(本文以此为例),或提前在实例中创建索引和Mapping。
开启自动创建索引功能的具体操作,请参见配置YML参数。创建索引和Mapping的具体操作,请参见步骤三:创建索引。说明 阿里云Elasticsearch为了保证用户操作数据的安全性,默认将自动创建索引配置设置为不允许。阿里云Logstash在传输数据的时候,使用提交数据的方式创建索引,而不是Create index API的方式。所以在使用阿里云Logstash上传数据之前,需要先把集群的自动创建索引设置为允许,或提前创建好索引和Mapping。
- 创建阿里云Logstash实例。
具体操作,请参见创建阿里云Logstash实例。
使用限制
- 阿里云Logstash最多支持20个管道并行运行。
- 如果output指定的数据源为阿里云Elasticsearch,需要提前开启自动创建索引,或创建目标索引和Mapping。
- 配置过程中涉及到阿里云系列产品时,需要在同一专有网络下,否则需要配置网络与安全。详细信息,请参见配置NAT公网数据传输。
- 如果在output中使用了file_extend参数,需要先安装logstash-output-file_extend插件。具体操作,请参见安装或卸载插件。
创建管道
修改管道
警告 修改管道后,在保存并部署时会触发实例重启,请在不影响业务的情况下执行操作。
- 在管道列表区域,单击目标管道右侧操作列下的修改管道。
- 在修改管道任务页面,修改管道的Config配置和管道参数配置(管道ID不可修改)。
- 单击保存或保存并部署,等待实例重启完成后,即可完成管道修改。
复制管道
警告 复制管道后,在保存并部署时会触发实例重启,请在不影响业务的情况下执行操作。
- 在管道列表区域,选择目标管道右侧操作列下的 。
- 在复制管道任务页面,修改管道ID,其他配置保持不变。
- 单击保存或保存并部署,等待实例重启完成后,即可完成管道复制。
删除管道
警告
- 管道删除后无法恢复,正在运行的管道任务会被中断,请确认后操作。
- 管道删除操作会触发实例变更,请在不影响业务的情况下执行操作。
- 在管道列表区域,选择目标管道右侧操作列下的 。
- 在删除管道对话框中,查看风险提示。
- 单击继续,等待实例变更完成后,即可删除管道。
相关文档
- 创建管道的API文档:CreatePipelines
- 通过Logstash迁移数据的最佳实践文档:
- 通过阿里云Logstash将自建Elasticsearch数据迁移至阿里云
- 腾讯云Elasticsearch数据迁移至阿里云说明 该文档同样适用于跨账号、跨地域的阿里云Elasticsearch之间的数据迁移。
- 通过Logstash同步MySQL数据的最佳实践文档:通过Logstash将RDS MySQL数据同步至Elasticsearch
- 通过Logstash同步日志数据的文档: