采集配置生成器

更新时间:
复制 MD 格式

若您计划通过CRD-AliyunPipelineConfigAPI接口来配置Logtail采集任务,本文向您介绍如何利用采集配置生成器来自动构建所需的CRD定义和API参数脚本。该工具可帮您快速完成配置,减少手动操作。

操作步骤

  1. 登录日志服务控制台

  2. Project列表区域,单击目标Project。

  3. 在左侧导航栏中,单击image > 采集配置生成器

  4. 采集配置生成器页面,顶部选择采集场景,左侧区域进行Logtail采集配置,配置完成后,右侧预览配置区域将生成Logtail CRD采集配置的YAML格式脚本以及API使用的JSON格式配置。

    • 采集场景:支持主机场景文本日志Kubernetes - 文件以及标准输出-新/旧版

    • Logtail采集配置:单击导入其他配置,支持在导入Logtail配置页面导入已有配置,或者根据采集场景创建新的采集配置。

    • 预览配置:

    左侧配置区域包含全局配置Project 名称Logstore 名称配置名称、日志主题类型及高级参数)和输入配置(采集类型为文本日志采集,Logtail 部署模式可选 DaemonsetSidecar,以及文件路径设置)。

  5. 若新建采集配置并使用Logtail SPL解析日志,需先添加日志样例。之后,在预览处理效果时,请确保已设置正确的Project名称Logstore名称

    处理配置页面,将处理模式选择为SPL,在SPL语句编辑区输入解析语句(例如 * | parse-json content),然后单击预览查看处理结果。

  6. 复制已生成的YAML或者JSON,根据具体的场景创建采集配置。

场景

文本日志

主机场景下采集文本日志时,创建Logtail采集配置不支持使用CRD的方式。如下示例,向您介绍结合采集配置生成器,通过API调用,创建Logtail采集配置。

  1. 生成API创建Logtail采集配置时调用的参数配置:在采集配置生成器页面左侧区域完成采集配置或者导入其他配置

    选择采集类型为文本日志,在左侧区域依次填写全局配置(Project名称Logstore名称配置名称)、输入配置(类型为文本日志采集,设置文件路径/data/wwwlogs/**/test.log最大目录监控深度0)和处理配置(选择处理插件组合模式,添加正则解析原生处理插件)。右侧预览配置区域的JSON标签页将展示完整的采集配置参数,包含 inputs(input_file类型)、processors(processor_parse_regex_native类型)、flushers(flusher_sls类型)等字段。

  2. API调用:右侧区域生成的JSON脚本,对应调用创建Logtail流水线配置时需要配置的参数(调试)。

Kubernetes - 文件

  1. 采集配置生成器页面,单击Kubernetes - 文件

  2. 在采集配置生成器左侧区域选择导入其他配置或者参考如下文档完成采集配置。

  3. 创建Logtail采集配置。

    CRD-AliyunPipelineConfig方式

    采集配置生成器右侧区域生成的YAML脚本,用于您通过CRD-AliyunPipelineConfig方式创建采集配置。使用步骤,请根据具体场景,参见如下文档完成:

    API方式

    右侧区域生成的JSON脚本,对应调用创建Logtail流水线配置时需要配置的参数(调试)。

标准输出-新版/旧版

  1. 采集配置生成器页面,单击标准输出 - 新版或者标准输出 - 旧版

  2. 在采集配置生成器左侧区域选择导入其他配置或者参考如下文档完成采集配置。

    • 采集阿里云ACK集群标准输出-旧版(DaemonSet方式部署Logtail),请参见日志服务控制台

    • 采集自建K8s集群标准输出-旧版(DaemonSet方式部署Logtail),请参见日志服务控制台

  3. 创建Logtail采集配置。

    CRD-AliyunPipelineConfig方式

    采集配置生成器右侧区域生成的YAML脚本,用于您通过CRD-AliyunPipelineConfig方式创建采集配置。使用步骤,请根据具体场景,参见如下文档完成:

    API方式

    右侧区域生成的JSON脚本,对应调用创建Logtail流水线配置时需要配置的参数(调试)。