插件配置概述

阿里云Logstash支持100余款系统默认插件,包含开源和自研Logstash插件,能够提升集群在数据传输和处理、日志调试等各方面的能力。本文介绍阿里云Logstash支持的系统默认插件。

阿里云Logstash仅支持系统默认插件,不支持自定义插件。系统默认插件为阿里云Logstash预置的插件,您可以根据需求卸载或安装。具体操作,请参见安装或卸载插件。阿里云Logstash实例资源属于客户,请勿进行违法操作。

阿里云Logstash支持的插件如下:

  • 自研插件

    类别

    名称

    说明

    介绍

    input

    logstash-input-datahub

    从阿里云流式数据服务DataHub读取数据。

    logstash-input-datahub插件使用说明

    logstash-input-maxcompute

    从阿里云大数据计算服务MaxCompute读取数据。

    logstash-input-maxcompute插件使用说明

    logstash-input-oss

    从阿里云对象存储服务OSS读取数据。

    logstash-input-oss插件使用说明

    logstash-input-sls

    从阿里云日志服务SLS读取日志。

    logstash-input-sls插件使用说明

    output

    logstash-output-datahub

    传输数据至阿里云流式数据服务DataHub。

    logstash-output-datahub插件使用说明

    logstash-output-file_extend

    直接在控制台上查看管道配置的输出结果。

    使用Logstash管道配置调试功能

    logstash-output-oss

    批量传输数据至阿里云对象存储服务OSS。

    logstash-output-oss插件使用说明

  • 开源插件

    类别

    名称

    说明

    介绍

    input

    logstash-input-azure_event_hubs

    使用Azure事件中心中的事件。

    Azure Event Hubs plugin

    logstash-input-beats

    从Elastic Beats框架中接收事件。

    Beats input plugin

    logstash-input-dead_letter_queue

    从Logstash的死信队列中读取事件。

    Dead_letter_queue input plugin

    logstash-input-elasticsearch

    从Elasticsearch集群中读取数据。

    Elasticsearch input plugin

    logstash-input-exec

    定期运行Shell命令,将Shell命令的全部输出作为事件捕获。

    Exec input plugin

    logstash-input-ganglia

    通过用户数据协议UDP(User Datagram Protocol)从网络读取Ganglia包。

    Ganglia input plugin

    logstash-input-gelf

    在网络上将GELF格式信息作为事件读取。

    Gelf input plugin

    logstash-input-generator

    生成随机日志事件。

    Generator input plugin

    logstash-input-graphite

    从Graphite工具读取指标。

    Graphite input plugin

    logstash-input-heartbeat

    生成心跳消息。

    Heartbeat input plugin

    logstash-input-http

    通过HTTP或HTTPS接收单行或多行事件。

    Http input plugin

    logstash-input-http_poller

    调用HTTP API,将输出解码为事件,并发送事件。

    Http_poller input plugin

    logstash-input-imap

    从IMAP服务器读取邮件。

    Imap input plugin

    logstash-input-jdbc

    通过JDBC界面,将任一数据库数据读取到Logstash中。

    Jdbc input plugin

    logstash-input-kafka

    从Kafka主题读取事件。

    Kafka input plugin

    logstash-input-pipe

    从长时间运行的管道命令中流式读取事件。

    Pipe input plugin

    logstash-input-rabbitmq

    从RabbitMQ队列中读取事件。

    Rabbitmq input plugin

    logstash-input-redis

    从Redis实例中读取事件。

    Redis input plugin

    logstash-input-s3

    从S3 Bucket中的文件流式读取事件。

    S3 input plugin

    logstash-input-snmp

    使用简单网络管理协议(SNMP)轮询网络设备,获取当前设备操作状态信息。

    SNMP input plugin

    logstash-input-snmptrap

    将SNMP trap消息作为事件读取。

    Snmptrap input plugin

    logstash-input-sqs

    从Amazon Web Services简单队列服务(Simple Queue Service,SQS)队列中读取事件。

    Sqs input plugin

    logstash-input-stdin

    从标准输入读取事件。

    Stdin input plugin

    logstash-input-syslog

    在网络上将syslog消息作为事件读取。

    Syslog input plugin

    logstash-input-tcp

    通过TCP套接字读取事件。

    Tcp input plugin

    logstash-input-twitter

    从Twitter Streaming API接收事件。

    Twitter input plugin

    logstash-input-udp

    在网络上通过UDP,将消息作为事件读取。

    Udp input plugin

    logstash-input-unix

    通过UNIX套接字读取事件。

    Unix input plugin

    output

    logstash-output-elasticsearch

    向Elasticsearch集群写入数据。

    Elasticsearch output plugin

    logstash-output-kafka

    向Kafka主题写入事件。

    Kafka output plugin

    logstash-output-lumberjack

    使用lumberjack协议发送事件。

    Lumberjack output plugin

    logstash-output-nagios

    通过Nagios命令文件,向Nagios发送被动检查结果。

    Nagios output plugin

    logstash-output-pagerduty

    根据预先配置的服务和升级政策发送通知。

    Pagerduty output plugin

    logstash-output-pipe

    将事件输送到另一个程序的标准输入。

    Pipe output plugin

    logstash-output-rabbitmq

    将事件推送到RabbitMQ exchange。

    Rabbitmq output plugin

    logstash-output-redis

    使用RPUSH命令将事件发送到Redis队列。

    Redis output plugin

    logstash-output-s3

    向亚马逊简单存储服务(Amazon Simple Storage Service, Amazon S3)批量上传Logstash事件。

    S3 output plugin

    logstash-output-sns

    向采用托管pub/sub框架的亚马逊简单通知服务(Amazon Simple Notification Service)发送事件。

    Sns output plugin

    logstash-output-sqs

    将事件推送到Amazon Web Services(AWS)SQS队列。

    Sqs output plugin

    logstash-output-stdout

    将事件打印到运行Shell命令的Logstash标准输出。

    Stdout output plugin

    logstash-output-tcp

    通过TCP套接字写入事件。

    Tcp output plugin

    logstash-output-udp

    通过UDP发送事件。

    Udp output plugin

    logstash-output-webhdfs

    通过webhdfs REST API向HDFS中的文件发送Logstash事件。

    Webhdfs output plugin

    logstash-output-cloudwatch

    聚合并发送指标数据到AWS CloudWatch。

    Cloudwatch output plugin

    logstash-output-csv

    以逗号分隔(CSV)或其他分隔的格式,将事件写入磁盘。基于文件输出共享配置值。内部使用Ruby CSV库。

    Csv output plugin

    logstash-output-elastic_app_search

    向Elastic App Search解决方案发送事件。

    App Search output plugin

    logstash-output-email

    收到输出后发送电子邮件。 您也可以使用条件来包含,或者排除电子邮件输出执行。

    Email output plugin

    logstash-output-file

    向磁盘文件写入事件。您可以将事件中的字段作为文件名和/或路径的一部分。

    File output plugin

    logstash-output-graphite

    从日志中读取指标数据,并将它们发送到Graphite工具。Graphite是一个用于存储和绘制指标的开源工具。

    Graphite output plugin

    logstash-output-http

    向通用HTTP或HTTPS端点发送事件。

    Http output plugin

    filter

    logstash-filter-aggregate

    聚合单个任务下多个事件(通常为日志记录)的信息,并将聚合信息推送到最后的任务事件。

    Aggregate filter plugin

    logstash-filter-anonymize

    将字段值替换为一致性哈希值,以实现字段匿名化。

    Anonymize filter plugin

    logstash-filter-cidr

    根据网络块列表检查事件中的IP地址。

    Cidr filter plugin

    logstash-filter-prune

    基于黑名单或白名单的字段列表来精简事件数据。

    Prune filter plugin

    logstash-filter-clone

    检查重复事件。将为克隆列表中的每个类型创建克隆。

    Clone filter plugin

    logstash-filter-csv

    解析包含CSV数据的事件字段,并将其作为单独字段存储(名字也可指定)。 该过滤器还可以解析带有任何分隔符(不只是逗号)的数据。

    Csv filter plugin

    logstash-filter-date

    解析字段中的日期,然后使用该日期或时间戳作为事件的logstash时间戳。

    Date filter plugin

    logstash-filter-de_dot

    将点(.)字符替换为其他分隔符,以重命名字段。 在实际应用中,该过滤器的代价较大。它必须将源字段内容拷贝到新目的字段,该新字段的名字中不再包含点(.),然后移除相应源字段。

    De_dot filter plugin

    logstash-filter-dissect

    Dissect过滤器是一种拆分操作。

    Dissect filter plugin

    logstash-filter-dns

    对reverse阵列下的各个或指定记录执行DNS查找(A记录或CNAME记录查找,或PTR记录的反向查找)。

    Dns filter plugin

    logstash-filter-drop

    删除满足此过滤器的所有事件。

    Drop filter plugin

    logstash-filter-elasticsearch

    搜索Elasticsearch中的过往日志事件,并将其部分字段复制到当前事件。

    Elasticsearch filter plugin

    logstash-filter-fingerprint

    创建一个或多个字段的一致性哈希值(指纹),并将结果存储在新字段。

    Fingerprint filter plugin

    logstash-filter-geoip

    根据Maxmind GeoLite2数据库的数据添加关于IP地址的地理位置信息。

    Geoip filter plugin

    logstash-filter-grok

    解析任意非结构化文本并将其结构化。

    Grok filter plugin

    logstash-filter-http

    整合外部网络服务或多个REST API。

    HTTP filter plugin

    logstash-filter-jdbc_static

    使用预先从远程数据库加载的数据丰富事件。

    Jdbc_static filter plugin

    logstash-filter-jdbc_streaming

    执行SQL查询,并将结果集存储到目标字段。 将结果缓存到具有有效期的本地最近最少使用(LRU)缓存。

    Jdbc_streaming filter plugin

    logstash-filter-json

    JSON解析过滤器,将包含JSON的已有字段扩展为Logstash事件中的实际数据结构。

    JSON filter plugin

    logstash-filter-kv

    自动解析各种foo=bar消息(或特定事件字段)。

    Kv filter plugin

    logstash-filter-memcached

    将外部数据整合到Memcached。

    Memcached filter plugin

    logstash-filter-metrics

    聚合指标。

    Metrics filter plugin

    logstash-filter-mutate

    在字段上执行转变。您可以重命名、删除、更换并修改您事件中的字段。

    Mutate filter plugin

    logstash-filter-ruby

    执行Ruby代码。 该过滤器接受内联Ruby代码或文件。 这两个方案互斥,在工作方式方面略有不同。

    Ruby filter plugin

    logstash-filter-sleep

    按照指定的休眠时间长度休眠。 在休眠时间内,Logstash将停止。这有助于限流。

    Sleep filter plugin

    logstash-filter-split

    通过分解事件的一个字段,并将产生的每个值嵌入原始事件的克隆版,从而克隆事件。 被分解的字段可以是字符串或字符串数组。

    Split filter plugin

    logstash-filter-syslog_pri

    解析Syslog(RFC3164)消息前部的PRI字段。 如果没有设置优先级,它会默认为13(每个请求注解)。

    Syslog_pri filter plugin

    logstash-filter-throttle

    限制事件的数量。

    Throttle filter plugin

    logstash-filter-translate

    一款普通搜索和替换工具,基于配置的哈希和/或文件决定替换值。

    Translate filter plugin

    logstash-filter-truncate

    截断超过一定长度的字段。

    Truncate filter plugin

    logstash-filter-urldecode

    解码URL编码字段。

    Urldecode filter plugin

    logstash-filter-useragent

    基于BrowserScope数据,将用户代理字符串解析为结构化数据。

    Useragent filter plugin

    logstash-filter-xml

    XML过滤器。将包含XML的字段,扩展为实际数据结构。

    Xml filter plugin

    codec

    logstash-codec-cef

    根据《实施 ArcSight 通用事件格式》第二十次修订版(2013 年 6 月 5 日),使用Logstash编解码器处理ArcSight通用事件格式(CEF)。

    Cef codec plugin

    logstash-codec-collectd

    在网络上通过UDP从collectd二进制协议中读取事件。

    Collectd codec plugin

    logstash-codec-dots

    该编解码器生成一个点(.),代表它处理的一个事件。

    Dots codec plugin

    logstash-codec-edn

    读取并产生EDN格式数据。

    Edn codec plugin

    logstash-codec-edn_lines

    读取并产生以新行分隔的EDN格式数据。

    Edn_lines codec plugin

    logstash-codec-es_bulk

    将Elasticsearch bulk格式解码到单独的事件中,并将元数据解码到[@metadata](/metadata)字段。

    Es_bulk codec plugin

    logstash-codec-fluent

    处理fluentd msgpack模式。

    Fluent codec plugin

    logstash-codec-graphite

    编码并解码Graphite格式的行。

    Graphite codec plugin

    logstash-codec-json

    解码(通过输入)和编码(通过输出)完整的JSON消息。

    Json codec plugin

    logstash-codec-json_lines

    解码以新行分隔的JSON流。

    Json_lines codec plugin

    logstash-codec-line

    读取面向行的文本数据。

    Line codec plugin

    logstash-codec-msgpack

    读取并产生MessagePack编码内容。

    Msgpack codec plugin

    logstash-codec-multiline

    将多行消息合并到单个事件中。

    Multiline codec plugin

    logstash-codec-netflow

    解码Netflow v5、v9和v10(IPFIX)数据。

    Netflow codec plugin

    logstash-codec-plain

    处理事件之间没有分隔的明文。

    Plain codec plugin

    logstash-codec-rubydebug

    使用Ruby Awesome Print库输出Logstash事件数据。

    Rubydebug codec plugin