通过Logstash的管道管理配置,您可以关联已有的Elasticsearch(简称ES)实例,并通过该ES实例的Kibana控制台进行集中式管道管理配置,完成数据传输。

关联Elasticsearch实例

  1. 进入Logstash实例管理页面
  2. 单击左侧导航栏的管道管理
  3. 管道管理页面,单击关联Elasticsearch实例右侧的修改
    管道管理页面
    目前Logstash的管道管理方式仅支持集中式管道管理。您需要首先在所要关联的ES实例的Kibana控制台中,创建和配置Logstash管道。
  4. 修改配置页面,选择Elasticsearch实例,并输入ES实例的用户名和密码。
    用户名为所选的ES集群的用户名(一般为elastic),密码为创建集群时设置的密码。
  5. 单击测试连通性并获取管道列表
    连通成功后,系统显示管道ID下拉框。
  6. 选择管道ID
    如果您还没有管道ID,可单击前往创建链接,前往所选Elasticsearch实例的Kibana控制台创建并配置管道,详情请参见通过Kibana控制台管理管道
    前往创建
    管道创建成功后,返回Logstash管道管理的修改配置页面,再次单击测试连通性并获取管道列表,获取新创建的管道ID。
    获取管道ID
    警告 管道配置变更需要重启Logstash进程,请在不影响业务的情况下,继续执行以下操作。
  7. 勾选重启Logstash进程重启注意事项,单击确认
    确认后,Logstash会进行重启。重启过程中,可在任务列表中查看重启进度。重启成功后,即可完成Logstash实例的管道配置,并启动相应的数据传输进程。

通过Kibana控制台管理管道

关联Elasticsearch实例成功后,可单击管道管理配置右侧的前往Kibana控制台管理,在所关联的ES实例的Kibana控制台中,创建或修改管道配置。

  1. 登录ES实例的Kibana控制台
  2. 单击左侧导航栏的Management
  3. Management页面,单击Logstash下的Pipelines
  4. Pipelines页面中,单击Create pipeline
    创建管道步骤
  5. Create pipeline页面,输入Pipeline IDDescription,并根据需求配置其他参数。
    创建管道页面
    配置时,可将鼠标移至参数上,查看相关说明。
  6. 单击Create and deploy完成创建。
    创建成功后,系统直接返回Pipelines页面,展示创建成功的管道。
  7. Pipelines页面,单击已经创建成功的管道ID,可在Edit Pipeline页面修改管道配置。
    管道ID不可修改。