导入华为云日志数据

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

在多云环境中,安全日志分散在不同云厂商平台,导致难以进行统一的威胁检测和应急响应。云安全中心的威胁分析与响应 (CTDR) 功能支持集中导入并分析华为云的安全产品日志(如 WAF、云防火墙),帮助您实现跨云环境的统一安全管理。

工作流程

  1. 源端日志汇聚:华为云产品(如 WAF、CFW)的日志统一汇聚到华为云日志服务 (LTS)

  2. 数据导出外发:通过 LTS 将日志数据导出至消息队列 (DMS Kafka) 或对象存储 (OBS),作为跨云数据传输的中转节点。

  3. 跨云数据导入:CTDR 平台作为消费端,通过标准的 Kafka 或 S3 协议,从 DMS 或 OBS 中订阅并拉取日志数据至指定数据源。

  4. 接入与标准化:在 CTDR 平台内创建接入策略,并应用标准化规则,对拉取到的原始日志进行解析、范式化处理后,最终存入数据仓库。

image

适用范围

本方案仅支持导入华为云的以下日志类型:

  • Web 应用防火墙 (WAF) 告警日志

  • 云防火墙 (CFW) 告警日志

投递日志到 LTS

在导入前,必须先将华为云上分散的安全产品日志统一投递至云日志服务(LTS)。

Web应用防火墙

说明

详细指引请参考华为云官方文档:通过LTS记录WAF全量日志、Web应用防火墙WAF导入LTS

  1. 登录控制台

    登录Web应用防火墙控制台,在左上角选择区域或项目后,单击左侧防护事件

  2. 配置LTS

    全量日志页签,单击对接LTS配置。参照如下说明,完成配置。

    重要

    配置完成后,不会立即生效,存在10分钟左右的时延。

    • 日志类型:WAF访问日志、WAF攻击日志。

    • 日志组:选择要转存的日志组。可单击创建日志组,新建一个日志组。

    • WAF访问日志流日志类型选择WAF访问日志,请选择需要WAF访问日志流。也可以单击创建日志流,新建一个WAF访问日志流。

    • WAF攻击日志流日志类型选择WAF攻击日志时,请选择需要WAF攻击日志流。也可以单击创建日志流,新建一个WAF攻击日志流

云防火墙

说明

详细指引请参考华为云官方文档:配置CFW日志配置CFW日志云防火墙CFW接入LTS

  1. 创建日志组和日志流

    1. 登录云日志服务控制台,在日志管理页面,单击创建日志组

    2. 创建日志组页面,配置日志组名称日志存储时间(天)

      说明

      建议在创建日志组时,名称以 -cfw 为后缀(例如 mylog-cfw),以便后续查找和管理。

    3. 创建日志组成功后,单击日志组名称对应的image.png下的创建日志流

    4. 创建日志流页面,配置日志流名称日志存储时间(天)

      说明

      分别为攻击事件日志、访问控制日志、流量日志加入-attack、-access、-flow为后缀。

      • 攻击日志:记录攻击告警信息,包括攻击事件类型、防护规则、防护动作、五元组、攻击payload等信息。

      • 访问日志:记录命中ACL策略的流量信息,包括命中时间、五元组、响应动作、访问控制规则等信息。

      • 流量日志:记录所有通过云防火墙的流量信息,包括开始时间、结束时间、五元组、字节数、报文数等信息。

  2. 设置LTS同步

    1. 登录云防火墙控制台,在左上角选择区域和防火墙实例。在左侧导航中选择日志审计 > 日志管理

    2. 日志管理页面,单击LTS同步设置。将日志组日志源设置为上一步创建日志组和日志流。

选择导入方案

将华为云 LTS 日志导入云安全中心,可选择 Kafka 或对象存储 (OBS) 方案。两种方案在实时性、成本和配置复杂度上各有侧重,可根据具体业务场景选择。

对比项

Kafka (DMS) 方案

对象存储 (OBS) 方案

实时性

准实时(可配置实时转储)

分钟级延迟

配置复杂度

较高,需配置 Kafka 实例、公网 IP、安全组等。

较低,配置转储任务即可。

成本构成

  • 华为云:涉及 Kafka 实例、弹性公网 IP 及流量费用、日志服务费用。

  • 阿里云:CTDR日志接入流量。

  • 华为云:涉及 OBS 存储费用、日志服务费用。

  • 阿里云:CTDR日志接入流量。

适用场景

对日志分析实时性要求高,如需进行流式安全计算或快速告警响应。

对实时性要求不高,侧重于成本效益、日志归档或批量离线分析。

配置数据导入

通过 Kafka (DMS) 导入

步骤 1:在【华为云】准备 Kafka 数据通道

配置 Kafka 实例

  1. 创建Kafka实例

    说明

    更多内容,请参见华为云官方文档:创建Kafka实例

    1. 配置实例规格及私有云网络:进入购买Kafka实例页面,在快速购买页签中,根据实际需求完成基础配置和网络配置。

    2. 配置公网访问:在访问方式区域,勾选公网访问,参考如下说明完成配置:

      • 公网接入方式密文接入

      • 公网IP地址

        选择可访问的弹性公网IP地址。如果可用的弹性公网 IP 数量不足,请参考以下步骤购买。更多内容,请参见华为云官方文档:申请弹性公网IP

        • 请单击创建弹性IP,跳转至弹性公网IP购买页。

          重要

          至少需要购买3个弹性公网IP

        • 购买完成后,单击弹性IP地址后的image.png,然后在下拉框中选择新购弹性IP地址。

      • kafka安全协议

        • SASL_SSL:采用SASL方式进行认证,数据通过SSL证书进行加密传输。

        • SASL_PLAINTEXT:采用SASL方式进行认证,数据通过明文传输,性能更好。

      • SASL PLAIN机制:若安全协议SASL_PLAINTEXT,建议选择CRAM-SHA-512机制。

      • 用户名/密码:客户端用于连接Kafka实例的用户名和密码,密文接入成功开启后,用户名不支持修改。

        重要

        请妥善保管用户名、密码在后续在云安全中心授权访问 Kafka需要使用。

  2. 创建Topic

    1. 访问华为云- Kafka管理页面,在左上角选择Kafka实例对应的目标地域。

    2. 在左侧导航栏选择Kafka实例。单击目标实例名称,进入实例详情。然后单击Topic管理

    3. Topic列表页,单击创建Topic,根据业务需求完成相关配置。若无特殊要求,选择默认配置即可。

      说明

      更多信息,请参考华为云官方文档:Topic参数说明

  3. 配置安全规则

    开启公网访问后,需要设置对应的安全组规则,才能成功连接Kafka。

    1. kafka实例详情页,单击左侧概览,在概览页的网络区域安全组配置项default后的image图标。

    2. 在策略配置页的入方向规则,单击添加规则后,请参考如下说明完成配置。

      1. 策略:允许

      2. 类型:IPv4

      3. 协议:自定义TCP

      4. 端口:9095

      5. 源地址:0.0.0.0/0

  4. 获取连接 Kafka 服务所需的参数

    在 Kafka 实例概览页,记录公网密文连接地址启用的安全协议SASL PLAIN机制等信息

    image

创建从 LTS 到 Kafka 的转储任务

说明

详细指引请参考华为云官方文档:日志转储至DMS

  1. 登录云日志服务控制台,左侧导航选择日志转储后,单击右上角配置转储

  2. 参考如下说明,完成转储日志相关参数的配置。

    • 转储方式:周期性转储。

    • 转储对象:DMS。

    • 日志组名称/日志流名称投递日志到 LTS中设置的日志组/日志流(如waf攻击日志)。

    • Kafka实例:选择配置 Kafka 实例中的实例。

    • Topic:选择创建Topic中的设置topic。

    • 转储周期:实时。

    • 转储格式:可选择原始日志格式JSON格式

步骤2:在【阿里云】配置 Kafka日志导入

在云安全中心授权访问 Kafka

  1. 访问云安全中心控制台-威胁分析与响应-接入中心,在页面左侧顶部,选择需防护资产所在的区域:中国内地非中国内地

  2. 多云配置管理页签,选择多云资产后,单击新增授权,下拉选择IDC。在弹出的面板中进行如下配置:

  3. 配置同步策略

    AK服务状态检查:设置云安全中心自动检查华为云访问密钥有效性的时间间隔。可选“关闭”,表示不进行检测。

创建数据导入任务

  1. 创建数据源

    为华为云日志数据创建一个专属CTDR 数据源,若已创建请跳过此步骤。

    1. 访问云安全中心控制台-威胁分析与响应-接入中心,在页面左侧顶部,选择需防护资产所在的区域:中国内地非中国内地

    2. 数据源页签,创建接收华为云日志的数据源。具体操作请参见创建数据源:日志未接入日志服务(SLS)

      • 源数据源类型:可选择用户侧日志服务CTDR专属数据采集通道

      • 接入实例:建议新建日志库(Logstore),进行数据隔离。

  2. 数据导入页签,单击新增数据导入。在弹出的面板中进行如下配置:

  3. 配置目标数据源

    • 数据源名称:选择步骤1创建的数据源。

    • 目标Logstore:根据选择的数据源,自动拉取该数据源下的日志库。

  4. 单击确定保存配置:导入配置完成后,云安全中心将自动从华为云拉取日志。

通过对象存储 (OBS) 导入

步骤 1:在【华为云】准备 OBS 数据并获取访问密钥

配置 LTS 转储至 OBS

  1. 创建转储任务。

    说明

    详细指引请参考华为云官方文档:日志转储至OBS、Web应用防火墙WAF接入LTS

    1. 登录云日志服务控制台,左侧导航选择日志转储后,单击右上角配置转储

    2. 参考如下说明,完成转储日志相关参数的配置。

      • 转储方式:周期性转储。

      • 转储对象:OBS桶。

      • 日志组名称/日志流名称投递日志到 LTS中设置的日志组/日志流(如WAF访问日志流)。

      • OBS桶:选择已创建的OBS桶或在华为云-桶列表新建一个桶。

        说明

        LTS支持OBS桶的存储类别为标准存储、已恢复的归档存储的OBS桶。

      • 自定义转储路径:

        • 开启:可设置自定义路径。格式为:/LogTanks/RegionName/%GroupName/%StreamName/自定义转储路径。自定义转储路径默认为lts/%Y/%m/%d。

        • 不开启:将日志转储至系统默认路径(LogTanks/RegionName/2019/01/01/日志组/日志流/日志文件名称)中。

      • 压缩格式:选择不压缩、压缩gzip、压缩zip。

        警告

        云安全中心目前不支持 snappy 压缩格式的日志文件解析。

  2. 获取OBS存储桶的Endpoint

    1. 访问 华为云-桶列表页面,定位至上一步配置的LTS日志转存OBS。在桶详情页,单击左侧概览

    2. 域名信息区域,查看Endpoint(终端节点),格式为obs.${region}.myhuaweicloud.com

      image

设置访问密钥

  1. 访问华为云-我的凭证页面,选择左侧导航栏的访问密钥

  2. 单击新建密钥。选择下载CSV文件或将SecretIdSecretKey复制到本地文件保存。更多信息,请参考访问密钥

步骤 2:在【阿里云】配置 OBS 日志导入

授权云安全中心访问华为云 OBS

  1. 访问云安全中心控制台-威胁分析与响应-接入中心,在页面左侧顶部,选择需防护资产所在的区域:中国内地非中国内地

  2. 多云配置管理页签,选择多云资产后,单击新增授权,下拉选择IDC。在弹出的面板中进行如下配置:

  3. 配置同步策略

    AK服务状态检查:设置云安全中心自动检查华为云访问密钥有效性的时间间隔。可选“关闭”,表示不进行检测。

创建数据导入任务

  1. 访问云安全中心控制台-威胁分析与响应-接入中心,在页面左侧顶部,选择需防护资产所在的区域:中国内地非中国内地

  2. 数据导入页签,单击新增数据导入。在弹出的面板中进行如下配置:

  3. 配置目标数据源

    • 数据源名称:选择状态正常的自定义数据源(自定义日志服务/CTDR专属数据采集通道)。若无合适的数据源,请参考数据源,创建新的数据源。

    • 目标Logstore:根据选择的数据源,自动拉取该数据源下的日志库。

  4. 单击确定保存配置:导入配置完成后,云安全中心将自动从华为云拉取日志。

分析导入数据

数据成功接入后,配置相应的解析和检测规则,才能让云安全中心对这些日志进行分析。

  1. 创建新的接入策略

    参考 产品接入,创建新的接入策略,配置如下:

    • 数据源:选择数据导入任务中配置的目标数据源

    • 标准化规则:CTDR提供了适配华为云产品的内置标准化规则,可直接选用。

    • 标准化方式:接入的均为告警日志,因此默认为实时消费,不可更改。

      image

  2. 配置威胁检测规则

    根据安全需求,在规则管理中启用或创建日志检测规则,才能对日志进行分析、产出告警并生成安全事件。具体操作,请参见配置威胁检测规则

计费说明

本方案会涉及以下服务的费用,实施前请仔细阅读各产品的计费文档,做好成本预估:

  • 华为云侧

    在华为云侧,主要为数据中转和存储费用:

    服务名称

    涉及费用项

    计费参考文档

    日志服务(LTS)

    日志的存储、读写费用等。

    华为云日志服务-计费概述

    消息队列(DMS Kafka)

    实例规格、公网流量等。

    华为云Kafka-计费概述

    对象存储(OBS)

    存储容量、请求次数、公网流量等。

    华为云OBS-计费概述

  • 阿里云侧

    在阿里云侧,费用组成取决于选择的数据存储方式

    说明

    威胁分析与响应(CTDR)计费说明,请参见威胁分析与响应包年包月威胁分析与响应按量付费

    日志服务(SLS)计费说明,请参见SLS计费概述

    数据源类型

    CTDR 计费项

    SLS 计费项

    特别说明

    CTDR专属数据采集通道

    • 日志接入费用。

    • 日志存储、写入费用。

    说明

    以上均消耗日志接入流量

    除日志存储和写入外的其他费用(如公网流量等)。

    CTDR 创建并管理 SLS 资源,因此日志库存储和写入费用由CTDR出账。

    用户侧日志服务

    日志接入费用,消耗日志接入流量

    日志相关所有费用(包含日志存储和写入、公网流量费用等)。

    日志资源全部由日志服务(SLS)管理,因此日志相关费用,均由SLS出账。

常见问题

  • 数据导入任务创建后,在 SLS 中看不到日志数据怎么办?

    1. 检查第三方云侧:登录华为云控制台,确认日志是否已成功生成并投递/转储到您配置的 LTS、Kafka Topic 或对象存储桶中。

    2. 检查授权凭证:在云安全中心的多云资产页面,检查授权状态是否正常。确认 Access Key 是否有效,密码是否正确。

    3. 检查网络连通性:如果是 Kafka 方案,请确认第三方云的 Kafka 服务公网访问已开启,且安全组/防火墙规则已正确放行云安全中心的服务 IP。

    4. 检查数据导入任务:在云安全中心的数据导入页面,查看任务状态和错误日志,根据提示进行修正。

  • 为什么在阿里云侧新增授权时,要选择 ApacheAWS-S3而不是华为云?

    这是因为日志导入功能利用的是标准的兼容协议,而非厂商特定的 API。

    • IDC 代表协议厂商,Apache 代表 Kafka,AWS-S3 代表对象存储。

    • 华为云授权仅用于CTDR威胁检测规则与华为云进行安全事件联动(如封禁 IP),不能实现日志导入。