本文档为您介绍通过Kibana Pipeline管理页面,控制多个Logstash实例添加、删除和编辑管道的方法。

背景信息

管道实现方式:

  • 通过Logstash配置文件定义了Logstash管道,使用-f<path/to/file>启动一个Logstash实例(即使用了一个配置文件定义了管道实例)。
  • 通过pipelines.yml配置文件在同一进程中运行多个管道。
  • 通过Kibana访问并配置单进程Pipeline,目前阿里云Logstash Service只支持通过Kibana控制台配置管道。本文以此为例。

通过Kibana配置Pipeline

  1. 登录ES实例的Kibana控制台
  2. 单击左侧导航栏的Management
  3. Management页面,单击Logstash下的Pipelines
  4. Pipelines页面中,单击Create pipeline
    创建管道步骤
  5. Create pipeline页面,输入Pipeline IDDescription,并根据需求配置其他参数。
    创建管道页面
    配置时,可将鼠标移至参数上,查看相关说明。
    参数 说明
    Pipeline ID 管道名称。
    Description 管道配置的描述。
    Pipeline 管道配置。需要配置正确的输入、输出源地址。例如:
    input {
        kafka {
        bootstrap_servers => ["192.168.xx.xx:9092,192.168.xx.xx:9092,192.168.xx.xx:9092"]
        group_id => "group_1"
        topics => ["logstash_test"]
        consumer_threads => 6
        decorate_events => true
        }
    }
    output {
    elasticsearch {
    hosts => ["es-cn-o40xxxxxxxxxxxxwm.elasticsearch.aliyuncs.com:9200"]
    index => "logstash_test_1"
    password => "es_password"
    user => "elastic"
    }
    }
    Pipeline workers 用于运行管道的过滤器和输出阶段的并行工作器数。
    Pipeline batch size 单个工作线程在执行过滤器和输出之前收集的最大事件数。
    Pipeline batch delay 在将小型批处理发送给管道工作者之前等待每个事件的时间(以毫秒为单位)。
    Queue type 事件缓冲的内部排队模型。选项是内存中队列的内存,或者是基于磁盘的确认队列的持久性。
    Queue max bytes 队列的总容量。
    Queue checkpoint writes 启用持久队列时强制检查点之前写入的最大事件数。
  6. 单击Create and deploy完成创建。
    创建成功后,系统直接返回Pipelines页面,展示创建成功的管道。
  7. Pipelines页面,单击已经创建成功的管道ID,可在Edit Pipeline页面修改管道配置。
    管道ID不可修改。

管道管理配置

  1. 进入Logstash实例管理页面
  2. 单击左侧导航栏的管道管理
  3. 管道管理页面,单击关联Elasticsearch实例右侧的修改
    管道管理页面
    目前Logstash的管道管理方式仅支持集中式管道管理。您需要首先在所要关联的ES实例的Kibana控制台中,创建和配置Logstash管道。
  4. 修改配置页面,选择Elasticsearch实例,并输入ES实例的用户名和密码。
    用户名为所选的ES集群的用户名(一般为elastic),密码为创建集群时设置的密码。
  5. 单击测试连通性并获取管道列表
    连通成功后,系统显示管道ID下拉框。
  6. 选择管道ID
    如果您还没有管道ID,可单击前往创建链接,前往所选Elasticsearch实例的Kibana控制台创建并配置管道,详情请参见通过Kibana配置Pipeline
    前往创建
    管道创建成功后,返回Logstash管道管理的修改配置页面,再次单击测试连通性并获取管道列表,获取新创建的管道ID。
    获取管道ID
    警告 管道配置变更需要重启Logstash进程,请在不影响业务的情况下,继续执行以下操作。
  7. 勾选重启Logstash进程重启注意事项,单击确认
    确认后,Logstash会进行重启。重启过程中,可在任务列表中查看重启进度。重启成功后,即可完成Logstash实例的管道配置,并启动相应的数据传输进程。