通过配置文件管理管道_管道任务管理_Logstash实例管理_Logstash服务

本文介绍通过阿里云LogstashService（简称Logstash）的配置文件管理管道的方法。通过配置文件管理管道，可实现多管道并行运行，目前最多支持20个。

前提条件

已经创建了阿里云Elasticsearch（简称ES）实例。
详情请参见创建阿里云Elasticsearch实例。
已经创建了阿里云Logstash实例。
详情请参见创建阿里云LogstashService实例。

背景信息

Logstash支持通过以下几种方式配置管道：

通过配置文件配置Logstash管道，使用-f<path/to/file>启动Logstash实例。
通过pipelines.yml配置文件在同一进程中运行多个管道。
通过Kibana访问Logstash并配置单进程管道。

创建管道

登录阿里云Logstash控制台。
在顶部菜单栏处，选择地域。
单击目标实例ID/名称链接。
单击左侧导航栏的管道管理。
在管道列表区域中，单击创建管道。
在Config配置向导页面，进行Config配置。
配置示例如下。
```
input {
    kafka {
    bootstrap_servers => ["192.168.xx.xx:9092,192.168.xx.xx:9092,192.168.xx.xx:9092"]
    group_id => "group_1"
    topics => ["logstash_test"]
    consumer_threads => 6
    decorate_events => true
    }
}
output {
elasticsearch {
hosts => ["es-cn-o40xxxxxxxxxxxxwm.elasticsearch.aliyuncs.com:9200"]
index => "logstash_test_1"
password => "es_password"
user => "elastic"
}
}
```
Config配置详情请参见Logstash配置文件说明。
注意
- Input插件需要监听Logstash进程所在节点的端口，请使用8000~9000范围内的端口。
- 如果您需要在input中定义插件、驱动或其他文件，可单击查看扩展文件路径，在本地文件管理对话框中，单击前往上传，根据提示上传对应的文件。
- 为了提升安全性，在使用JDBC驱动并配置管道时，需要在jdbc_connection_string参数后面添加allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件的时候，调度系统会抛出校验失败的提示，例如jdbc_connection_string => "jdbc:mysql://xxx.drds.aliyuncs.com:3306/test-database?allowLoadLocalInfile=false&autoDeserialize=false"。
- 如果配置中有类似ast_run_metadata_path的参数，那么需要阿里云Logstash服务提供文件路径。目前后端开放了/ssd/1/ls-cn-xxxxxxx/logstash/data/路径供您测试使用，且该目录下的数据不会被删除。因此在使用时，请确保磁盘有充足的使用空间。
- 由于阿里云Logstash创建在专有网络VPC（Virtual Private Cloud）下，配置过程中涉及到阿里云系列产品时，建议使用同一VPC下的实例。如果需要使用外网访问阿里云Logstash，需要配置网络与安全，详情请参见NAT公网数据传输配置。

单击下一步，配置管道参数。

表 1. 管道配置参数说明
参数	说明
管道ID	必选，自定义输入。
管道工作线程	并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。
管道批大小	单个工作线程在尝试执行Filter和Output前，可以从Input收集的最大事件数目。较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量，来增大JVM堆大小，从而有效使用该值。默认值：125。
管道批延迟	创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。
队列类型	用于事件缓冲的内部排队模型。可选值： memory：默认值。基于内存的传统队列。 persisted：基于磁盘的ACKed队列（持久队列）。
队列最大字节数	请确保该值小于您的磁盘总容量。默认值：1024MB。
队列检查点写入数	启用持久性队列时，在强制执行检查点之前已写入事件的最大数目。设置为0，表示无限制。默认值：1024。

警告配置完成后，需要进行保存和部署才能生效。保存和部署操作会触发实例变更，请在不影响业务的前提下，继续执行以下步骤。

单击保存或者保存并部署。
- 保存：将管道信息保存在Logstash里并触发实例变更，但不会触发配置。保存后，系统会返回管道管理页面。可在管道列表区域，单击操作栏下的立即部署，触发配置。
- 保存并部署：保存并且部署后，才会真正触发配置（也会触发实例变更）。
在创建成功提示框中，单击确认，在管道列表中查看创建成功的管道。
等待实例变更完成后，即可完成管道任务的创建。此时管道的状态显示为运行中。

修改管道

警告修改管道后，在保存时会触发实例变更，请在不影响业务的情况下，执行操作。

在管道列表区域中，单击右侧操作栏下的修改管道。
在修改管道任务页面，修改管道的Config配置和管道参数配置（管道ID不可修改）。
单击保存或保存部署，等待实例变更完成后，即可完成管道修改。

复制管道

警告复制管道后，在保存时会触发实例变更，请在不影响业务的情况下，执行操作。

在管道列表区域中，单击右侧操作栏下的复制管道。
在复制管道任务页面，输入管道ID，其他配置保持不变。
单击保存或保存部署，等待实例变更完成后，即可完成管道复制。

删除管道

警告

管道删除后无法恢复，正在运行的管道任务会被中断，请确认后操作。
管道删除操作会触发实例变更，请在不影响业务的情况下，执行操作。

在管道列表区域中，单击右侧操作栏下的更多 > 删除管道。
在删除管道对话框中，查看风险提示，确认后再执行下一步。
单击确定，等待实例变更完成后，即可完成管道删除。

常见问题

Q：为什么通过阿里云Logstash管道配置传输数据前，需要开启阿里云ES实例的自动创建索引配置？

A：阿里云ES为了保证用户操作数据的安全性，默认将自动创建索引配置设置为不允许。阿里云Logstash在传输数据的时候，使用提交数据的方式创建索引，而不是Create index API的方式。所以在使用阿里云Logstash上传数据之前，需要先把集群的自动创建索引设置为允许，详情请参见开启自动创建索引。