多源日志接入配置操作指南-云安全中心-阿里云

当日志分散在不同的云服务、第三方工具或自建应用中时，统一进行威胁检测和安全分析会变得异常困难。威胁分析与响应（CTDR）提供统一的日志接入中心，帮助您集中采集、标准化并分析来自任何来源的日志数据。这使您能够跨越整个技术环境，应用一致的检测规则，从而获得全面的安全视野并高效响应威胁。

工作原理

CTDR 通过一套模块化的配置体系，实现对原始日志的自动化接入与标准化，其核心原理是通过以下关键组件协同工作：

数据源：定义原始日志的存储位置，如阿里云日志服务 SLS 的 Project 与 Logstore等信息。
说明
支持CTDR专属数据采集通道、用户侧日志服务、中心侧日志服务三种类型，更多信息请参见数据源类型对比。
标准化规则：
- 一套基于SPL语法的解析指令，用于从各类原始日志中提取关键字段（如源IP、目标端口等），并将其转换为 CTDR 统一的结构化格式。
- 每条标准化规则都关联一个数据集（预设的标准字段模型），决定了日志分析时可用的标准字段，更多信息请参见数据集。
标准化方式：规定了日志在标准化后被处理与访问的技术模式。
说明
支持实时消费、扫描查询两种类型，更多信息请参见标准化方式对比。
接入策略：日志接入流程的核心配置，将“数据源”、“标准化方式”、“标准化规则”进行绑定，明确日志的读取、解析及处理方式，实现日志的自动接入和标准化。

接入阿里云产品

本流程适用于已将日志投递到自有 SLS 日志库的阿里云产品，如 Web 应用防火墙（WAF）、云防火墙（CFW）、操作审计等。

接入流程图

步骤一：开启产品日志投递

在接入前，必须确保目标云产品已开启日志审计功能，并将其日志投递到阿里云日志服务 SLS，这是 CTDR 读取数据的基础。

重要

阿里云产品业务中心侧日志库中的云安全产品告警日志，会自动将数据源投递至CTDR，无需开通云产品日志服务即可完成接入。如：WAF的告警日志、云防火墙告警日志。

前往相应云产品的控制台（如 WAF、CFW 等），找到日志管理或日志服务相关的功能入口。参考文档请参见阿里云产品日志接入SLS参考。
按照产品文档指引，开启日志投递功能。此操作通常会自动在 SLS 中创建一个项目（Project）和一个或多个日志库（Logstore）。
说明
登录日志服务控制台，可查看产品投递日志的项目（Project）和日志库（Logstore）。例如，WAF的日志项目名称通常为wafnew-logstore。

步骤二：开启内置接入策略

批量自动开启

CTDR支持批量接入阿里云云原生产品日志，此功能可自动开启接入策略及发现数据源。操作步骤如下：

登录控制台
访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。
设置批量接入
单击批量接入设置，参考如下说明完成配置。
- 接入设置方式：
  - 增量设置：系统会保留所有已启用的接入策略，仅在此基础上新增本次配置的数据源及策略。
  - 全量设置：完全覆盖并替换所有已有的接入设置。任何未在当前配置中选中的策略，启用状态都将会被关闭。
    警告
    此为覆盖性操作，可能意外关闭正在运行的策略并导致数据接入中断，请谨慎操作。
- 接入账号范围：支持选择当前账号及其纳关的成员账号。更多关于成员账号信息，请参见多账号统一管理。
- 阿里云云产品范围：选择要接入云原生产品及对应的数据源。
  说明
  为简化配置流程，CTDR内置了推荐接入策略。单击使用推荐接入策略按钮，系统将基于最佳实践，自动为勾选当前云产品中最具分析价值的数据源，以帮助您快速启用数据分析。
- 自动发现并接入数据源新增日志库（Logstore）：启用此选项后，系统会将后续新建的日志库自动纳入当前数据源的采集范围，无需手动添加。
确认并启动数据接入
完成配置后，单击确定，统将自动完成以下操作：
- 全面接入：自动接入所选账号当前在阿里云日志服务（SLS）内，所选云产品数据源关联的所有已启用日志库（Logstore）。
- 策略生效： 自动开启所选数据源对应的接入策略。
  重要
  新的接入策略需要一定时间进行下发和初始化，请耐心等待片刻。
确认启用状态
1. 返回接入列表，选择要接入的产品，单击操作列的接入设置。
  说明
  成员账号接入情况，请进入多账号接入设置的接入策略页签，单击目标数据源操作列的跨账号接入。
2. 在接入策略列表页查看接入状态。若接入状态异常，请检测相关数据源状态，如何检查请参考检查数据源连接状态。

手动启用

配置数据源
CTDR为主流阿里云产品预置了数据源配置，需要检查并确保这些配置与实际日志库信息一致。
1. 查找云产品
  1. 访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。。
  2. 在产品接入页签，厂商筛选条件设置成阿里云。选择要接入的产品（如 Web 应用防火墙），单击操作列的接入设置。
2. 检查数据源连接状态
  1. 单击产品关联的数据源名称，页面将跳转至数据源页签。
  2. 定位至目标数据源，查看其连接状态：
    - 正常：表示CTDR 可以成功访问日志库，请直接进入下一步。
    - 异常：表示配置有误，请单击该数据源操作列的编辑，并核对以下信息：
      - 实例信息：核对在步骤一中记录的地域、项目（Project） 和 日志库（Logstore） 是否完全匹配。
      - 源日志服务：确认 SLS 日志库本身服务正常，例如 Project 未被停用，日志仍在持续写入。
    - 未连接：表示尚未配置数据源。
      - 请单击该数据源操作列的编辑，进入编辑页面。
      - 单击新增实例，选择步骤一开通后自动创建的日志库信息（地域（RegionId）、项目（Project）、日志库（Logstore））。
启用内置接入策略
开启日志处理流水线，实现CTDR自动分析产品日志。
1. 返回产品接入页签，再次进入目标产品的接入设置页面。
2. 修改标准化方式（可选）
  部分产品策略可在编辑页面修改标准化方式，支持实时消费和扫描查询两种方式，详情请参见标准化方式对比。
  重要
  - 数据源类型为中心侧日志服务或告警类日志，其标准化方式为实时消费，不可更改。
  - 标准化分类/结构关联的数据集（StoreView）已绑定了 5 个“扫描查询”模式的接入策略，则当前策略请选择“实时消费”，否则将会导致接入策略开启失败。
3. 日志标准化测试
  若修改了标准化方式，需要进行日志标准化测试。
  警告
  请确保数据源对应的日志库（Logstore）有数据，若日志库无数据，日志标准化测试无法进行。
  1. 单击按钮，系统将通过SPL语法对日志数据进行解析并返回结果。
  2. 在返回结果下拉列表中选择一个作为测试数据后，单击解析并测试。
  3. 测试通过后，单击完成。
    说明
    若测试不通过，可参考日志标准化测试失败或无法解析出数据怎么办？查找解决方案。
4. 开启策略
  打开目标策略启用状态栏的开关，即可开启接入策略。
  重要
  若在购买CTDR时已开启推荐接入策略，云安全中心、Web应用防火墙、云防火墙和操作审计产品的内置策略默认是打开状态。如何开启推荐接入策略，请参见包年包月模式下开启接入策略、按量付费模式下开启日志接入策略。

步骤三：新增接入策略（可选）

部分产品支持自定义接入策略，新增步骤如下：

在接入策略列表，单击新增接入策略。
说明
若无新增接入策略按钮则说明该产品不支持此功能。
在新建接入策略页面选择对应的数据源和标准化规则、标准化方式。若无合适的数据源和标准化规则，也可创建新的数据源和自定义标准化规则。
重要
数据源只能选择当前账号下的数据源，不支持成员账号数据源。
完成日志标准化测试并打开策略启用开关。

接入第三方日志

CTDR支持接入第三方云（飞塔、长亭、微软、深信服、腾讯云、华为云、山石网科、斗象科技，微软云等）和自定义产品应用的日志。接入步骤如下：

接入三方云产品日志

日志未接入日志服务（SLS）

对于腾讯云和华为云的 WAF 和 CFW 产品，CTDR提供了数据导入功能，帮助实现日志接入。

适用范围

云厂商	产品	日志类型
腾讯云	Web应用防火墙（WAF）	攻击日志、访问日志
腾讯云	云防火墙（CFW）	告警日志
华为云	Web应用防火墙（WAF）	攻击日志、访问日志
华为云	云防火墙（CFW）	告警日志

接入流程图

接入步骤

创建数据源
为三方云日志数据创建一个专属CTDR数据源。若已创建请跳过此步骤。
1. 访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。
2. 在数据源页签，创建接收腾讯云日志的数据源。具体操作请参见创建数据源：日志未接入日志服务（SLS）。
  - 源数据源类型：可选择用户侧日志服务或CTDR专属数据采集通道，如何选择可参考数据源类型对比。
  - 接入实例：建议新建日志库（Logstore），进行数据隔离。
数据导入
参考导入华为云日志数据、导入腾讯云日志数据说明，将三方云数据导入步骤1创建的数据源中。
配置接入策略
1. 返回产品接入页签，将厂商筛选条件设置为三方厂商（如华为云）。
2. 单击目标产品操作列的接入设置，在接入策略详情页，单击新增接入策略。
3. 参照如下说明绑定数据源：
  - 数据源名称：选择步骤1创建的数据源。
  - 标准化规则：建议选择CTDR提供的适配华为云/腾讯云的内置标准化规则。
    说明
    也可参考标准化规则和数据集，创建自定义标准化规则。
  - 标准化方式：仅支持实时消费，不支持扫描查询。
4. 在日志标准化测试页面，单击解析并测试，具体步骤可参考日志标准化测试。
  警告
  请确保数据源对应的日志库（Logstore）有数据，若日志库无数据，日志标准化测试无法进行。
5. 测试通过后，单击完成。在完成页面，打开策略启用开关。

日志已接入日志服务（SLS）

如果第三方产品（如飞塔、长亭、深信服等）日志已经通过如 Logtail、Syslog-ng等方式采集到了 SLS 日志库中，则接入流程如下。如何将数据接入SLS，请参考数据采集概述。

配置数据源
1. 查找接入产品
  1. 访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。
  2. 厂商筛选条件设置为三方厂商（如华为云）。选择要接入的产品（如 Web 应用防火墙），单击其右侧的接入设置。
2. 修改数据源
  1. 单击产品关联的数据源名称，页面将跳转至数据源页签。然后单击目标数据源操作列的编辑按钮。
  2. 单击新增实例，选择三方产品日志存储地域（RegionId）、项目（Project）、日志库（Logstore）。
    说明
    可登录日志服务控制台查看云产品对应的日志库信息。
开启内置接入策略
1. 返回产品接入页签，再次进入目标产品接入设置页面。
2. 单击目标内置接入策略操作列编辑按钮。在日志标准化测试页面，单击解析并测试，具体步骤可参考日志标准化测试。
3. 测试通过后，单击完成。在完成页面，打开策略启用开关。

接入自定义产品应用日志

接入流程图

新增产品
1. 访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。。
2. 在产品接入页签，多云产品接入区域单击新增产品按钮，填写厂商名称、产品名称。
新增数据源
在数据源页签内，单击创建数据源。具体操作可参见数据源。配置说明如下：
- 若产品日志已采集至SLS日志服务，请将数据源类型设置为用户侧日志服务，并选择对应的日志库。
  说明
  可登录日志服务控制台查看产品的日志库信息。
- 若产品日志尚未采集至SLS日志服务。
  - 若设置数据源类型为CTDR专属数据采集通道。
    CTDR将在SLS创建专属项目Project（aliyun-cloudsiem-channel-阿里云UID-cn-地域ID）和专属日志库Logstore。
  - 若设置数据源类型为用户侧日志服务。请先前往日志服务控制台，创建对应的日志库。
  重要
  数据源配置完毕后，请参考数据采集概述或联系SLS技术支持人员尽快将产品日志采集至SLS对应的日志库Logstore。
新增标准化规则
在标准化规则页签内，单击创建自定义规则，具体操作可参见创建自定义标准化规则。
说明
厂商和产品请和步骤1中新增的产品保持一致。
新增并启用接入策略
1. 返回产品接入页签内，找到步骤1中新增的产品，单击操作列接入设置。
2. 在接入设置页，单击新增接入策略，并在新建接入策略页面完成数据源和标准化日志的配置。配置说明如下：
  数据源：选择步骤2配置的数据源。
  标准化规则：选择步骤3配置的规则。
  标准化方式：支持实时消费和扫描查询两种方式，详情请参见标准化方式对比。
  重要
  若数据源类型为CTDR专属数据采集通道，请选择“实时消费”。
3. 在日志标准化测试页面，单击解析并测试，具体步骤可参考日志标准化测试。
  警告
  请确保数据源对应的日志库（Logstore）有数据，若日志库无数据，日志标准化测试无法进行。
4. 测试通过后，单击完成。在完成页面，打开策略启用开关。

分析接入数据

产品日志接入后，需要配置威胁检测规则才可对接入的日志进行分析，用于生成告警与安全事件，实现快速响应和处置云上安全风险，具体操作请参配置威胁检测规则。

配额与限制

扫描查询模式限制：一个数据集（关联标准化规则）最多只能绑定5个“扫描查询”模式的接入策略。
多账号接入限制：
- 成员账号日志仅能通过 实时消费 模式接入，不支持扫描查询。更多信息参见多账号统一管理。
- 属于成员账号的数据源，不支持自定义新增接入策略。
标准化方式限制：当数据源类型为“CTDR专属数据采集通道”，或接入的日志类型为“告警日志”时，仅支持“实时消费”。

计费说明

使用CTDR接入日志可能涉及以下费用，具体取决于选择的数据源的类型：

说明

威胁分析与响应（CTDR）计费说明，请参见威胁分析与响应包年包月、威胁分析与响应按量付费。
日志服务（SLS）计费说明，请参见SLS计费概述。

数据源类型	CTDR计费项	SLS计费项	特别说明
CTDR专属数据采集通道	日志接入费用日志存储、写入费用说明以上均消耗日志接入流量。	除日志存储和写入外的其他费用（如公网流量等）。	由CTDR 创建并管理 SLS 资源，因此日志库存储和写入费用由CTDR出账。
用户侧日志服务	日志接入费用，消耗日志接入流量。	日志相关所有费用（包含日志存储和写入、公网流量费用等）。	日志资源全部由日志服务（SLS）管理，因此日志相关费用，均由SLS出账。
中心侧日志服务	日志接入费用，消耗日志接入流量。	无	此为云安全中心内部日志，不涉及 SLS 费用。

参考信息

标准化方式对比

对比维度	实时消费	扫描查询
工作原理	写时标准化：CTDR从数据源消费日志，标准化后存储于CTDR日志空间。	读时标准化：直接从数据源实例读入日志，不存储副本。
核心优势	查询性能高，分析速度快。	部署轻量，成本更低。
日志存储&费用	若购买了日志存储容量，标准化日志将会自动投递至CTDR的日志管理中，且不支持投递开关的启停操作，消耗CTDR日志存储容量。	不存储日志副本，原始日志的存储费用由源端（如SLS）承担。
适用的数据源类型	中心侧日志服务用户侧日志服务 CTDR专属数据采集通道	用户侧日志服务（告警日志除外）
性能与配额	无接入策略数量限制。	策略限制：每个数据集最多绑定5个扫描查询策略。性能限制：无全量索引，性能与扫描数据量成反比。算子限制：部分解析和处理类 SPL 算子（`parse-json`、p`arse-kv`、`parse-regexp`、`parse-csv`、`expand-values`、`let`等）不可用。
多账号接入	支持。	不支持。
场景限制	当数据源为CTDR专属数据采集通道或日志类型为告警日志时，必须选择此模式。	无

数据源类型对比

对比维度	用户侧日志服务	CTDR专属数据采集通道	中心侧日志服务
日志存储与管理方式	用户自行管理其 SLS 项目（Project）和日志库（Logstore）。	由 CTDR 自动创建并管理专属的 SLS 项目和日志库。	云安全中心自身产生的内部日志，不存储在用户 SLS 中。
支持的标准化方式	实时消费、扫描查询（告警日志除外）	实时消费	实时消费
典型应用场景	接入已投递至 SLS 的阿里云产品日志（如WAF、CFW）。接入已通过 Logtail 等方式采集到 SLS 的第三方产品日志。	接入尚未采集到 SLS 的第三方云日志（如腾讯云/华为云）。接入无现有 SLS 投递方案的自定义应用日志。	分析云安全中心自身的内部日志。

阿里云产品日志接入SLS参考

Web应用防火墙：WAF 3.0日志。
云防火墙：云防火墙日志。
堡垒机：归档审计日志到日志服务。
操作审计：平台操作日志。
DDoS防护：快速使用全量日志分析。
CDN：投递CDN实时日志到SLS来分析用户访问数据最佳实践、配置实时日志推送。
全站加速DCDN：全球加速访问日志。
API网关：API网关访问日志。
容器服务Kubernetes：日志管理。
云原生关系型数据库PolarDB：PolarDB-X 1.0 SQL审计日志、PolarDB-X 2.0 SQL审计日志、日志分析。
云数据库MongoDB：MongoDB日志。
云数据库RDS：RDS SQL审计日志、投递RDS MySQL日志到日志服务。
专有网络VPC：VPC流日志、弹性公网IP日志。
SLB负载均衡：ALB访问日志、访问日志、传统型负载均衡CLB 7层访问日志、传统型负载均衡CLB 4层秒级监控指标。
对象存储：OSS访问日志。
文件存储NAS：基于SLS的日志分析。
配置审计：配置审计日志。

常见问题

数据源连接状态显示“异常”或“未连接”，如何排查？
请按以下顺序排查：
1. RAM权限：检查 CTDR 的服务关联角色 AliyunServiceRoleForSas 是否具有访问目标 SLS 日志库的权限（至少 AliyunLogReadOnlyAccess）。这是最常见的原因。
2. 配置信息：在 CTDR 的数据源编辑页面，仔细核对 SLS 的地域、项目（Project）和日志库（Logstore）名称是否完全正确，无拼写错误或多余空格。
3. 源日志库状态：登录SLS控制台，确认对应的Project未被禁用，且日志库中有持续写入的最新数据。
为什么接入策略启用失败？
同一个数据集StoreView（由“标准化规则”中的“标准化分类/结构”决定）最多只能绑定5个“扫描查询”模式的接入策略，超出此限制将导致接入策略启用失败，解决方案请参见接入策略启用失败。
日志标准化测试失败或无法解析出数据怎么办？
- 检查源日志库是否有数据：确保 SLS 日志库在近期（通常是过去一小时内）有新的日志写入，如果日志库为空，测试将无法进行。
- 检测标准化规则是否匹配：如果配置自定义规则，请确认编写的 SPL 语句能够正确解析原始日志格式，可在 SLS 控制台的查询分析页面调试的SPL语句。