目前,新购实例已不支持使用Kibana管理管道。如果您使用的是旧实例,建议将管道管理方式切换为配置文件管理。通过Kibana管理管道,您可以将阿里云Logstash与阿里云Elasticsearch(简称ES)实例进行关联,并通过该ES实例的Kibana控制台进行集中式管道管理配置,完成数据传输。

前提条件

您已完成以下操作:

关联Elasticsearch实例

  1. 登录阿里云Logstash控制台
  2. 在顶部菜单栏处,选择地域。
  3. 单击目标实例ID/名称链接。
  4. 单击左侧导航栏的管道管理
  5. 管道管理配置区域,单击配置文件管理右侧的修改
    旧实例的管道管理方式支持Kibana管道管理和配置文件管理(默认)两种方式。由于安全因素限制,新购实例已逐步关闭Kibana管道管理配置,建议优先选择配置文件管理方式,详情请参见通过配置文件管理管道
  6. 修改配置页面,选择管道管理方式Kibana管道管理
    警告 更改管道管理方式,会导致原先配置的所有管道失效,正在执行的数据任务受到影响。您需要先删除原有管理方式下的所有管道任务,再进行切换。
  7. 选择阿里云ES实例,并输入实例的用户名和密码。
    用户名为访问所选ES实例的用户名(一般为elastic),密码为创建实例时设置的密码。
  8. 单击测试连通性并获取管道列表
    连通成功后,系统显示管道ID下拉框。
  9. 选择管道ID
    如果您还没有管道ID,可单击前往创建链接,前往所选ES实例的Kibana控制台创建并配置管道,详情请参见通过Kibana控制台管理管道前往创建
    管道创建成功后,返回Logstash管道管理的修改配置页面,再次单击测试连通性并获取管道列表,获取新创建的管道ID。获取管道ID
    警告 管道配置变更需要重启Logstash进程,请在不影响业务的情况下,继续执行以下操作。
  10. 勾选重启Logstash进程注意事项,单击确定
    确定后,Logstash会进行重启。重启过程中,可在任务列表中查看重启进度。重启成功后,即可完成Logstash实例与ES实例的关联,并启动相应的数据传输进程。

通过Kibana控制台管理管道

关联Elasticsearch实例成功后,您就可以在所关联ES实例的Kibana控制台中,创建管道或修改管道配置。

  1. 管道管理页面,单击关联Elasticsearch实例右侧的前往Kibana控制台管理
  2. 输入用户名和密码,单击登录。
  3. 在Kibana控制台中,单击左侧导航栏的Management(管理)。
  4. 单击Logstash区域下的Pipelines(管道)。
  5. Pipelines页面,单击Create pipeline(创建管道)。创建管道步骤
  6. Create Pipeline页面,输入Pipeline IDDescription,并根据需求配置其他参数。创建管道页面
    配置时,可将鼠标移至参数上,查看相关说明。
    参数 说明
    Pipeline ID(管道 ID) 管道名称。
    Description(描述) 管道配置的描述。
    Pipeline(管道) 管道配置。需要配置正确的输入、输出源地址。例如:
    input {
        kafka {
        bootstrap_servers => ["192.168.xx.xx:9092,192.168.xx.xx:9092,192.168.xx.xx:9092"]
        group_id => "group_1"
        topics => ["logstash_test"]
        consumer_threads => 6
        decorate_events => true
        }
    }
    output {
    elasticsearch {
    hosts => ["http://es-cn-o40xxxxxxxxxxxxwm.elasticsearch.aliyuncs.com:9200"]
    index => "logstash_test_1"
    password => "es_password"
    user => "elastic"
    }
    }
    Pipeline workers(管道工作线程) 用于运行管道的过滤器和输出阶段的并行工作器数。
    Pipeline batch size(管道批大小) 单个工作线程在执行过滤器和输出之前收集的最大事件数。
    Pipeline batch delay(管道批延迟) 在将小型批处理发送给管道工作者之前等待每个事件的时间(以毫秒为单位)。
    Queue type(队列类型) 事件缓冲的内部排队模型。选项是内存中队列的内存,或者是基于磁盘的确认队列的持久性。
    Queue max bytes(队列最大字节数) 队列的总容量。默认值为1024MB(1GB)。您可以在右侧下拉列表中选择队列总容量的单位。
    Queue checkpoint writes(队列检查点写入数) 启用持久队列时强制检查点之前写入的最大事件数。
  7. 单击Create and deploy(创建并部署)完成创建。
    创建成功后,系统直接返回Pipelines页面,展示创建成功的管道。
  8. 单击创建成功的管道ID,可在编辑管道页面修改管道配置。