产品日志接入

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

使用威胁分析与响应CTDR(Cloud Threat Detection and Response)功能的前提是完成产品日志接入,在此基础上才能对日志进行分析处理,产生告警和安全事件。

前提条件

产品说明

  • CTDR设置了一批预定义产品,为其默认配置对应数据源、标准化规则和推荐接入策略,能够帮您快速完成产品接入。主要包含阿里云、部分三方厂商(飞塔、长亭、微软、深信服腾讯云、华为云、山石网科、斗象科技、微软云等),默认配置支持情况可参见支持接入的产品和日志

  • CTDR同时还支持自定义产品接入,自定义产品需要由您根据业务需求完成数据源标准化规则标准化方式接入策略的设置。

接入预定义产品

说明

阿里云、飞塔、长亭、微软、深信服、腾讯云、华为云、山石网科、斗象科技,微软云等产品,CTDR为其配置了默认的数据源、标准化规则和接入策略,请参见以下步骤完成接入

接入流程图

image

步骤一:查找接入产品

  1. 登录云安全中心控制台。在控制台左上角,选择需防护资产所在的区域:中国全球(不含中国)

  2. 在左侧导航栏,选择威胁分析与响应 > 接入中心在产品列表中查找要接入的产品。

    image

步骤二:开启内置接入策略

产品接入页签,找到需要接入的产品,单击接入设置,进入接入策略列表页。

说明

CTDR为预定义产品初始化了一些内置接入策略,为其设置好了数据源、标准化规则、标准化接入方式。

  1. 验证数据源

    1. 在接入策略列表,可查看初始化的接入策略及对应的数据源。

      image

    2. 根据数据源名称,验证数据源有效性,验证方式如下:

      • 若您开启了推荐接入策略,默认策略是默认打开并且会同步数据源状态,你可查看接入状态判断数据源是否异常,若异常请先关闭启用状态

        image

      • 若接入策略支持修改,可在编辑页面,单击校验有效性完成验证。image

      • 也可在接入中心数据源页签,根据数据源名称查找对应的数据源,如下图所示image代表数据源异常。

        image

    3. 若数据源异常,请检查数据源配置

      1. 阿里云产品

        • 请确保接入的阿里云云产品已开通日志服务。

        • 若已开通请检查项目(Project)日志库(Logstore)是否配置正确。

          若不正确请在接入中心数据源页签,数据源编辑页面修改日志库信息,其中数据源类型选择自定义日志服务,具体操作可参见编辑数据源。您可登录日志服务控制台查看产品的日志库信息。

      2. 非阿里云产品:

        接入中心数据源页签,数据源编辑页面补全配置信息,具体操作可参见编辑数据源

        • 若产品日志已采集至SLS日志服务数据源类型请选择自定义日志服务并选择在SLS对应的日志库,您可登录日志服务控制台查看产品的日志库信息。

        • 若产品日志尚未采集至SLS日志服务

          • 若设置数据源类型CTDR专属采集通道

            CTDR会为您在SLS创建专属项目Project(aliyun-cloudsiem-channel-阿里云UID-cn-地域ID)和专属日志库Logstore。

          • 若设置数据源类型自定义日志服务。请您先前往日志服务控制台,创建对应的日志库。

          重要

          数据源配置完毕后,请参见数据采集概述联系技术支持人员尽快将产品日志采集至SLS对应的日志库Logstore。

  2. 修改标准化方式(可选)

    说明

    部分产品策略可编辑,可通过操作列是否有编辑按钮判断,也可参考如下说明:

    • 其余产品若接入策略绑定的数据源类型为预定义日志服务则不可编辑,若数据源类型为是自定义日志服务CTDR专属采集通道则可编辑。

    • 接入策略绑定的是安全日志-xxx告警日志标准,则标准化方式为“实时消费”,且不允许修改。

    若接入策略支持修改,可在编辑页面修改标准化方式,支持实时消费扫描查询两种方式,详情请参见标准化接入方式说明

    警告
    • 请确保数据源对应的日志库(Logstore)有数据,若日志库无数据,日志标准化测试无法进行,从而致使标准化方式修改失败。

    • 若当前标准化分类/结构对应的数据集(StoreView),已经绑定了5个扫描查询模式的接入策略,则当前策略请选择“实时消费”,否则将会导致接入策略开启失败。更多关于数据集的说明请参见数据集说明

    image

  3. 日志标准化测试(可选)

    若您修改了标准化规则,需要进行日志标准化测试。

    1. 点击image按钮,系统将通过SPL语法对日志数据进行解析并返回结果。

    2. 在返回结果下拉列表中选择一个作为测试数据后,点击解析并测试

      警告

      若当前数据源无数据,SPL语法将无法解析日志并返回结果,返回结果下拉列表会为空,从而导致标准化测试无法完成。

    3. 测试通过后,单击完成

      说明

      若测试不通过,则返回上一步,确认数据源和标准化规则是否对应。若对应关系无误,请前往标准化规则页签,规则编辑页面修改相关配置,详情请参见修改标准化规则

    image

  4. 开启策略

    单击策略启用状态栏的开关按钮,若您已开启推荐接入策略,云安全中心、Web应用防火墙、云防火墙和操作审计产品的内置策略默认是打开状态。如何开启推荐接入策略,请参见包年包月模式下开启接入策略按量付费模式下开启日志接入策略

    警告

    若当前标准化分类/结构对应的数据集(StoreView),已经绑定了5个扫描查询模式的接入策略,会导致当前接入策略启用失败,解决方案请参见接入策略启用失败

    image

步骤三:新增接入策略(可选)

CTDR部分预定义产品支持自定义接入策略,新增步骤如下:

  1. 在接入策略列表,单击新增接入策略

    说明

    若无新增接入策略按钮则说明该产品不支持此功能。

  2. 在新建接入策略页面选择对应的数据源标准化规则标准化方式。若无合适的数据源和标准化规则,也可数据源创建自定义标准化规则

    重要

    数据源只能选择当前账号下的数据源,不支持成员账号数据源。

  3. 完成日志标准化测试并打开策略启用开关。

接入自定义产品

接入流程图

image

步骤一:新增产品

  1. 登录云安全中心控制台。在控制台左上角,选择需防护资产所在的区域:中国全球(不含中国)

  2. 在左侧导航栏,选择威胁分析与响应 > 接入中心并在在产品接入页签,单击右上角新增产品按钮,在新增产品弹框填写产品信息后,单击确定

image

步骤二:新增数据源

数据源页签内,单击左上角创建数据源,具体操作可参见数据源。配置说明如下:

  • 若产品日志已采集至SLS日志服务数据源类型请选择自定义日志服务并选择在SLS对应的日志库,您可登录日志服务控制台查看产品的日志库信息。

  • 若产品日志尚未采集至SLS日志服务

    • 若设置数据源类型CTDR专属采集通道

      CTDR会为您在SLS创建专属项目Project(aliyun-cloudsiem-channel-阿里云UID-cn-地域ID)和专属日志库Logstore。

    • 若设置数据源类型自定义日志服务。请您先前往日志服务控制台,创建对应的日志库。

    重要

    数据源配置完毕后,请参见数据采集概述联系技术支持人员尽快将产品日志采集至SLS对应的日志库Logstore。

步骤三:新增标准化规则

警告

请先将日志数据接入步骤2中数据源对应的日志库Logstore中,否则无法完成日志标准化测试,从而导致新增操作无法完成。

标准化规则页签内,单击左上角创建自定义规则,具体操作可参见创建自定义标准化规则

说明

厂商和产品请和步骤1中新增的产品保持一致。

步骤四:新增并启用接入策略

  1. 产品接入页签内,找到步骤1中新增的产品,单击操作列接入设置

  2. 在接入设置页,单击新增接入策略,并在新建接入策略页面完成数据源标准化日志的配置。配置说明如下:

    数据源:选择步骤2配置的数据源。

    标准化规则:选择步骤3配置的规则。

    标准化方式:支持实时消费扫描查询两种方式,详情请参见标准化接入方式说明

    重要

    若您的数据源类型为CTDR专属采集通道,请选择“实时消费”。

  3. 单击下一步,在日志标准化测试页面,单击解析并测试。测试完通过,单击完成

  4. 启用策略

    在完成页面,打开策略启动状态

    警告

    若当前标准化分类/结构对应的数据集(StoreView),已经绑定了5个扫描查询模式的接入策略,会导致当前接入策略启用失败,解决方案请参见接入策略启用失败

    image

后续步骤

产品日志接入后,您需要配置威胁检测规则才可对接入的日志进行分析,产出告警、生成安全事件,帮助您快速响应和处置云上安全风险。具体操作请参配置威胁检测规则

标准化接入方式说明

CTDR 2.0提供实时消费扫描查询两种日志接入方式。

  1. 实时消费

    若购买了日志存储容量,会生成一份标准化日志并投递至CTDR日志管理中,投递完毕可支持自定义日志检测规则。如何购买日志存储容量,请参见购买的日志存储容量。

    若未购买日志存储容量,将不会存储标准化日志,仅支持预定义日志检测规则

  2. 扫描查询

    直接从数据源实例读入日志,无需存储标准化日志,无需购买日志存储容量即可支持自定义检测规则,降低费用成本。

    但一个数据集最多支持5扫描查询模式的接入,一个数据集可对应多个标准化规则中的标准化分类/结构,如何查看标准化分类/结构对应的数据集请参见查看数据集

差异

实时消费

扫描查询

标准化日志存储

若购买了日志存储容量,自动存储标准化日志并投递至CTDR的日志管理中,且不支持投递开关的启停操作

直接从数据源实例读入日志,无需存储标准化日志。

日志存储费用

费用在CTDR侧,消耗CTDR日志存储容量

费用在SLS侧。

适用的数据源类型

  • 预定义日志服务

  • 自定义日志服务

  • CTDR专属采集通道

自定义日志服务

数据集接入限制

无限制。

一个数据集最多支持5扫描查询模式的接入,查询性能受限制。

多账号接入

支持。

暂不支持。

相关文档