本文介绍如何通过阿里云Logstash的配置文件管理功能创建管道任务,并通过管道配置完成数据同步任务。

前提条件

您已完成以下操作:

操作步骤

  1. 登录阿里云Elasticsearch控制台
  2. 在顶部菜单栏处,选择地域。
  3. 在左侧导航栏单击Logstash实例,再在实例列表中单击目标实例ID。
  4. 在左侧导航栏,单击管道管理
  5. 管道列表区域,单击创建管道
    创建管道
  6. Config配置中,输入管道ID并配置管道。
    本案例使用的配置如下。
    input {
        elasticsearch {
        hosts => ["http://es-cn-0pp1f1y5g000h****.elasticsearch.aliyuncs.com:9200"]
        user => "elastic"
        password => "your_password"
        index => "*"
        docinfo => true
      }
    }
    filter {
    }
    output {
      elasticsearch {
        hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
        user => "elastic"
        password => "your_password"
        index => "%{[@metadata][_index]}"
      }
      file_extend {
         path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
       }
    }
    参数 说明
    hosts 阿里云Elasticsearch(简称ES)服务的访问地址。input中为http://<源阿里云ES实例ID>.elasticsearch.aliyuncs.com:9200output中为http://<目标阿里云ES实例ID>.elasticsearch.aliyuncs.com:9200
    user 访问阿里云ES服务的用户名。
    password 访问阿里云ES服务的密码。
    index 指定同步索引名。设置为%{[@metadata][_index]},表示匹配元数据中的index,即生成的索引和源阿里云ES索引相同。
    docinfo 设置为true,将会提取阿里云ES文档的元信息,例如index、type和id。
    file_extend 开启调试日志功能,并通过path参数配置调试日志的输出路径,详情请参见使用Logstash管道配置调试功能
    注意 path参数默认为系统指定路径,请勿修改。您也可以单击开启配置调试获取path路径。

    更多Config配置详情请参见Logstash配置文件说明

  7. 单击下一步,配置管道参数。
    管道参数配置
    表 1. 管道配置参数说明
    参数 说明
    管道工作线程 并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时,请考虑增大线程数,更好地使用CPU处理能力。默认值:实例的CPU核数。
    管道批大小 单个工作线程在尝试执行Filter和Output前,可以从Input收集的最大事件数目。较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量,来增大JVM堆大小,从而有效使用该值。默认值:125。
    管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。
    队列类型 用于事件缓冲的内部排队模型。可选值:
    • MEMORY:默认值。基于内存的传统队列。
    • PERSISTED:基于磁盘的ACKed队列(持久队列)。
    队列最大字节数 请确保该值小于您的磁盘总容量。默认值:1024MB。
    队列检查点写入数 启用持久性队列时,在强制执行检查点之前已写入事件的最大数目。设置为0,表示无限制。默认值:1024。
    警告 配置完成后,需要保存并部署才能生效。保存并部署操作会触发实例重启,请在不影响业务的前提下,继续执行以下步骤。
  8. 单击保存或者保存并部署
    • 保存:将管道信息保存在Logstash里并触发实例变更,配置不会生效。保存后,系统会返回管道管理页面。可在管道列表区域,单击操作列下的立即部署,触发实例重启,使配置生效。
    • 保存并部署:保存并且部署后,会触发实例重启,使配置生效。
  9. 在创建成功提示框中,单击确认
    确认后,可在管道列表中查看创建成功的管道。等待实例变更完成后,并且管道的状态显示为运行中时,表示阿里云Logstash开始执行同步任务。完成创建管道

后续步骤

执行步骤三:查看数据同步结果,查看数据同步结果。