混合云日志投递
本文指导您配置 Web应用防火墙(Web Application Firewall,简称WAF)混合云日志,将其投递至 Syslog 或 Kafka 平台,以满足日志运维需求。
适用范围
已开通支持混合云接入的包年包月企业版、包年包月旗舰版WAF,并开启了日志服务功能。
若希望投递日志的域名使用了混合云接入中的SDK集成模式,需要先将接入的域名手动添加为防护对象。具体操作,请参见配置防护对象和防护对象组。
请确保您的混合云WAF镜像已经升级到最新版本。
设置混合云日志外发投递
混合云环境中,您的日志来源可能分散在多个云服务和本地设施中。外发投递功能可以将各个来源的日志发送到您的统一日志管理平台,便于统一监控、分析和管理。WAF支持将混合云日志外发投递至Syslog及Kafka,操作步骤如下。
管理外发投递配置
登录Web应用防火墙3.0控制台。在顶部菜单栏,选择WAF实例的资源组和地域(中国内地、非中国内地)。
在左侧导航栏,选择。,单击页面中的日志设置后进入默认字段设置页签。
在默认字段设置页签,可以对所有的投递日志设置默认投递字段。日志字段的具体含义请参见日志字段说明。
在日志设置页面单击投递设置页签进入如下图所示页面。
单击外发投递配置,进入外发投递配置页面。在该页面,可以新增、编辑和删除配置。首次配置混合云日志外发投递时,请单击新增外发投递配置,并参照下表完成配置后,单击保存完成新增配置操作。为了满足不同场景下的需求,WAF支持持有多个外发投递配置,也支持为多个防护对象选择相同的外发投递配置。
SYSLOG配置
配置项
配置说明
配置类型
选择SYSLOG。
配置名称
填写该配置的名称。
服务器IP/端口
填写IPv4格式的公网IP地址和端口信息,以便接收WAF日志的投递。
RFC
支持两个 RFC 文档定义RFC 3164和RFC 5424,填写一个与您日志管理系统一致的RFC。
协议
支持TCP与UDP传输协议。
选择 TCP 还是 UDP 取决于对日志数据传输的可靠性、性能和管理要求。对于大多数集中式日志系统,特别是在支持重传和丢失标记的情况下,TCP 是常用的选择,而 UDP 通常用于需要快速处理大流量但不那么重要的日志数据。
KAFKA配置
配置项
配置说明
配置类型
选择KAFKA。
配置类型
填写该配置的名称。
TOPIC ID/名称
填写您要投递的目标TOPIC名称。
域名
填写您的KAFKA的集群地址。
说明集群地址可以是域名加端口或者是IP加端口的形式。多个IP或域名之间用逗号隔开。例如:kafka.aliyuncs.com:9093,127.0.0.1:9093,kafka2.aliyuncs.com:9093。
接入协议
支持三种安全配置选项:PLAINTEXT、SASL_PLAINTEXT 和 SASL_SSL。请根据您的 KAFKA集群的安全配置,选择合适的选项。
SASL用户名
接入协议为SASL_PLAINTEXT或SASL_SSL需要进行身份验证,请填写您KAFKA集群的用户名。
SASL密码
接入协议为SASL_PLAINTEXT或SASL_SSL需要进行身份验证,请填写您KAFKA集群的密码。
压缩类型
支持gzip、zstd、lz4、snappy四种压缩类型,如果不需要压缩,请选择none。
自定义CA
接入协议为SASL_SSL需要填写证书,请填写您的证书内容。
说明证书格式以-----BEGIN CERTIFICATE-----开头,以-----END CERTIFICATE-----结尾。
重要如果混合云防护对象绑定了该投递配置项,且外发投递状态为开启状态,则该配置项无法删除,请先关闭日志外发投递服务,然后再进行删除操作。
开启或关闭日志外发投递
外发投递配置完成后,返回投递设置页面,找到目标防护对象,单击外发投递状态列的
图标,开启日志外发投递服务。设置完成后,如需查看日志,可以通过您的Syslog或Kafka平台进行查询操作,实现数据的实时获取与分析。
当您希望关闭日志外发投递时,可以返回投递设置页面,找到目标防护对象,关闭日志外发投递服务。
外发投递开启后仅投递配置完成后新生成的日志,无法投递历史日志。
如果您想批量操作防护对象开启日志的外发投递设置,您可以先勾选多个防护对象后,在防护对象列表的下方找到批量操作栏,选择开启外发投递或者关闭外发投递。请注意,批量开启操作仅支持为当前选中的多个防护对象选择相同的外发投递配置。
如果您希望更换目标防护对象的外发投递配置,请您关闭当前投递后再次开启并选择您希望更换的外发投递配置。
配置外发投递字段
外发投递字段配置用于定义日志的可选字段与存储类型。请按以下步骤操作:
在左侧导航栏,选择。
单击右上角日志设置后进入页面的投递设置页签中,单击目标防护对象的外发投递字段列的字段配置,完成字段设置表所示的配置项。
单击确定,若系统提示操作成功,则表明配置已对该防护对象生效。