接入安全厂商日志

支持接入的安全厂商

计费说明

将安全厂商日志接入云安全中心会涉及以下三部分的费用说明如下：

2. 采集日志至专属LogStore

在此步骤中，您需要将安全厂商的原始日志样本，通过SLS提供的数据采集方式，解析成键值对形式，存储到CTDR专属Logstore中，才能在CTDR控制台进行下一步的日志解析规则映射，即对日志进行标准化处理。

选择采集方式

日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。您可以使用Logtail采集或其他采集方式（Kafka协议、Syslog协议）将日志上传到自动创建的Logstore中。关于采集方式的更多信息，请参见数据采集概述。

如果您选择了Logtail采集的方式，在执行下述操作前，您需要先选择网络类型。更多信息，请参见选择网络。

配置Logtail采集

该步骤以长亭WAF为例介绍具体的操作步骤，其他线下安全产品如飞塔防火墙可参考附录中的说明。

需要接入长亭WAF日志时，由于无法在部署长亭WAF的服务器中安装Logtail，您需要使用中转服务器完成日志采集。

1. 准备一台中转服务器，先将长亭WAF的日志通过长亭自带的syslog发信功能转发到中转服务器。

2. 在中转服务器中安装Logtail。具体操作，请参见安装Logtail（Linux系统）、安装Logtail（Windows系统）。

   如实际情况允许，您也可以直接在安全厂商日志存储的服务器上安装Logtail。

3. 为已安装Logtail的服务器配置用户标识，授权您的阿里云账号通过Logtail采集服务器日志。具体操作，请参见配置用户标识。

4. 在自动创建的日志库（Logstore）中创建机器组。

   • 如何创建IP地址类型的机器组，请参见创建IP地址机器组。

   • 如何创建用户自定义标识类型的机器组，请参见创建用户自定义标识机器组。

5. 完成数据接入配置。

   1. 登录日志服务控制台。

   2. 在快速接入数据区域，单击接入数据，并在接入数据对话框中选择Syslog-插件。

   3. 在选择日志空间向导页，选择步骤6中记录的项目Project和日志库Logstore，单击下一步。

   4. 在创建机器组向导页，单击使用现有机器组。

   5. 在机器组配置向导页，选择使用场景、安装环境和已创建的机器组，单击下一步。

   6. 在数据源设置向导页，参考下述示例设置插件配置，并单击下一步。

      重要

      • 配置时，需去掉下面示例中的注释。

      • 下述示例中的Logtail处理插件可将长亭WAF日志中_content_的JSON字段内容展开成键值对形式，以便CTDR可以解析对应字段。您也可以按需调整Logtail处理插件以满足将日志解析为键值对格式的需求。更多信息，请参见展开JSON字段、处理插件概述。

      {
      	"inputs": [{
      		"type": "service_syslog",
      		"detail": {
      			"Address": "udp://0.0.0.0:9001",  #如果一台服务器转发多种日志类型，需根据不同日志类型，调整端口
      			"ParseProtocol": "rfc3164"
      		}
      	}],
      	"processors": [{
      		"detail": {
      			"ExpandArray": false,
      			"ExpandConnector": ".", #按需配置 
      			"ExpandDepth": 0,
      			"IgnoreFirstConnector": true,
      			"KeepSource": false, #是否保留原字段， 按需
      			"KeepSourceIfParseError": true,
      			"NoKeyError": true,
      			"Prefix": "", #按需配置
      			"SourceKey": "_content_", #需要Json展开的字段名
      			"UseSourceKeyAsPrefix": false # 按需配置
      		},
      		"type": "processor_json"
      	}]
      }

   7. 预览数据及创建索引，单击下一步。

6. 在日志服务控制台查看日志是否已正常接入自动创建的Logstore中。

其他采集方式

除了使用Logtail采集外，您还可以通过Kafka协议、Syslog协议上传日志到CTDR专属Logstore中。具体操作如下：

• 使用Kafka协议上传日志

• 使用Syslog协议上传日志

• SDK采集

3. 配置日志解析规则

1. 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国或全球（不含中国）。

2. 在左侧导航栏，选择威胁分析与响应 > 产品接入。

3. 在产品接入页面，将鼠标移动至图标处，单击安全厂商下方的日志解析规则。

   

4. 在日志解析规则页面，单击新增规则。

5. 在新增日志解析规则页面，按照界面导航完成规则设置。

   配置类别	配置项	说明
   基本信息设置	规则名称	设置日志解析规则的名称。
   	活动分类	选择需接入日志的类别。常见日志类型的对应关系如下： 防火墙告警日志：安全日志 > 防火墙告警日志。 防火墙流日志：网络日志 > 五元组日志。 WAF告警日志：安全日志 > Web应用防火墙告警日志。 WAF流日志：网络日志 > HTTP日志。
   	备注	设置日志解析规则的备注信息。
   日志样本查看	地域（RegionId）	选择自动创建的Logstore所在地域。
   	项目（Project）	输入自动创建的Logstore所在Project。
   	日志库（Logstore）	输入自动创建的Logstore的名称。
   	载入样本	您可以单击载入样本，将已采集到的安全厂商日志字段，载入到规则配置列表中。载入后，您无需手动填写字段做映射，可以直接选择已导入的日志字段做映射。您也可以单击查看更多日志样本，前往日志服务控制台查看已接入的安全厂商日志字段的详细信息。
   日志解析映射设置	配置解析规则	您需要在此区域，配置日志解析映射规则，将已采集到的日志字段映射到CTDR的标准字段中。不支持修改目标标准字段的字段为您必须要配置的字段，其余字段您可以按需选择是否配置。 日志过滤：如需按照某些字段的值过滤映射到CTDR的日志，您可以选中高级设置复选框，配置需要过滤的字段及过滤规则。需要添加多条过滤规则时，您可以单击+添加过滤条件。 查看标准字段：单击该按钮，可在标准字段列表面板查看CTDR支持解析的标准字段列表及字段的详细信息。 管理映射字典：单击该按钮，可在映射字典管理面板管理映射字典。具体操作，请参见管理映射字典。 解析函数文档：提供解析函数的详细说明及使用场景介绍，单击该按钮即可前往帮助中心查看文档详情。更多信息，请参见解析函数说明。

4. 绑定数据源

1. 在产品接入页面，找到需要接入的安全产品，单击操作列的接入设置。

   

2. 在云产品接入设置面板，找到需要接入的日志类型，单击已接入账号列下的数字。

3. 在接入账号设置面板，选择接入账号和所属地域（Region），并单击自动创建logstore。

   说明

   如果所选地域下，已创建过该日志类型对应的Logstore，即使您执行了自动创建Logstore，也不会重复创建。

4. 选择3. 配置日志解析规则中创建的日志解析规则，并单击校验有效性，然后单击保存。

后续步骤

1. 配置自定义检测规则，以深入检测并分析安全厂商的日志。具体操作，请参见新增自定义规则。

   说明

   暂不支持安全厂商日志使用预定义规则。

2. 如需查看CTDR标准化后的日志数据，您可以使用日志管理功能。使用日志管理功能查看对应日志前，您需要购买日志存储容量并开通对应日志的投递。具体操作，请参见步骤一：开启投递。

附录

CTDR专属Logstore说明

执行完1. 创建CTDR专属Logstore后，云安全中心会自动在日志服务创建CTDR专属Project和Logstore，该Logstore用于存储安全厂商日志，不建议作为其他用途使用。您受限使用CTDR专属Logstore中的数据，不具备修改该Logstore内数据或在其中创建索引的权限。您可以在Logstore中执行消费、加工、投递日志等操作。

一个地域下只会创建一个Project，即使您重新执行自动创建操作，仅有第一次操作会自动创建对应的Project和Logstore。

在杭州地域下创建的Project的名称为aliyun-cloudsiem-data-阿里云账号ID-cn-hangzhou。根据您接入的日志类型不同，云安全中心会创建不同的Logstore。日志库的名称和具体用途说明如下。在日志服务控制台进行接入配置时，您需要在安全厂商对应的日志库下操作。

飞塔防火墙日志采集处置插件示例

采集飞塔防火墙日志到CTDR专属Logstore时，可以使用Logtail采集的方法（和长亭WAF日志类似）。对应的Logtail插件配置示例如下：

{
    "inputs": [
        {
            "type": "service_syslog",
            "detail": {
                "Address": "udp://0.0.0.0:9002",
                "ParseProtocol": "rfc5424"
            }
        }
    ],
    "processors": [
        {
            "detail": {
                "Delimiter": " ",
                "Separator": "=",
                "KeepSource": true, 
                "SourceKey": "_content_",  
                "UseSourceKeyAsPrefix": false 
            },
            "type": "processor_split_key_value"
        }
    ]
}

通过一台服务器采集多个安全厂商的日志

如需将多个安全厂商的日志接入CTDR，您可以通过将多个日志源的日志发送到指定服务器的IP地址和不同端口，在该服务器上安装Logtail，并在日志服务控制台不同的Logstore下进行不同的数据源设置，实现将不同类型的日志采集到CTDR专属Logstore中。

例如，需要将长亭WAF告警日志、飞塔防火墙告警日志接入CTDR，您可以通过rsyslog等syslog agent将日志的syslog数据转发到指定服务器IP地址和端口上。例如长亭WAF告警日志发送到指定服务器的9001端口，飞塔防火墙告警日志发送到指定服务器的9003端口。在指定服务器上安装Logtail后，在日志服务控制台对应的Logstore中完成Logtail配置：

• 长亭WAF告警日志：在名称为cloud_siem_chaitin_waf_alert_log的Logstore中，插件配置inputs部分如下：

  {
       "inputs": [
           {
               "type": "service_syslog",
               "detail": {
                   "Address": "udp://0.0.0.0:9001",
                   "ParseProtocol": "rfc3164"
               }
           }
       ]
   }

• 飞塔防火墙告警日志：在名称为cloud_siem_fortinet_forigate_alert_log的Logstore中，插件配置inputs部分如下：

  {
       "inputs": [
           {
               "type": "service_syslog",
               "detail": {
                   "Address": "udp://0.0.0.0:9003",
                   "ParseProtocol": "rfc3164"
               }
           }
       ]
   }

日志采集说明

• 除了本文介绍的Logtail采集方法外，您也可以根据实际情况选择其他采集方法，将安全日志采集到日志服务中。更多信息，请参见数据采集概述。

• 使用Logtail机器组采集时机器组无心跳的处理方法，请参见Logtail机器组问题排查思路（主机场景）。