导入腾讯云日志数据

创建从 CLS 到 Kafka 协议消费转储任务

1. 开启 Kafka 协议消费

   1. 访问腾讯云-日志主题页面，并在左上角选择对应的日志存储区域。

   2. 单击目标日志主题名称，进入详情页。

      • Web应用防火墙：通常在 waf_post_logset 日志集下，详情参见Web应用防火墙投递至CLS。

      • 云防火墙：可在CLS日志投递页面获取日志主题信息。

   3. 单击左侧导航栏Kafka协议消费，在基本信息页签，单击右侧的编辑并打开启用状态开关。参照如下说明，完成配置后，单击确定。

      • 数据范围：历史+最新。

      • 消费数据格式：JSON（勾选不转义）或原始内容。

      • 数据压缩格式：不压缩。

      • 外网消费：打开。

      • 服务日志：打开。

2. 获取连接 Kafka 服务所需的信息

   完成配置后，单击查看消费者参数，获取所需关键配置信息：CLS外网服务地址（接入点）、用户名、消费主题（topic）以便后续在云安全中心授权访问COS和创建数据导入任务中使用。

   参数	说明
   外网访问地址	格式：kafkaconsumer-${region}.cls.tencentcs.com:9096。
   消费主题	kafka的topic。
   用户名	配置为 ${LogSetID}，即日志集 ID。
   密码	配置为 ${SecretId}#${SecretKey}。

   

设置访问密钥

• 使用主账号密钥：访问腾讯云-API密钥管理页面，单击新建密钥。并妥善保存生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考主账号访问密钥管理。

  说明

  API 密钥或者项目密钥均可使用。

• 使用子账号密钥：

  1. 在访问管理控制台的腾讯云-策略 页面，创建最小访问权限策略，以保证密钥使用安全。更多信息请参考Kafka 协议消费授权、通过策略语法创建自定义策略。

     {
         "version": "2.0",
         "statement": [{
             "action": [
                 "cls:PreviewKafkaRecharge",
                 "cls:CreateKafkaRecharge",
                 "cls:ModifyKafkaRecharge",
             ],
             "resource": "*",
             "effect": "allow"
         }]
     }

  2. 访问腾讯云-用户列表页面，选择已有子账号或创建新的子账号。

     • 添加上一步创建的访问策略。

     • 用户详情页面API密钥页签，单击新建密钥。并妥善保管生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考子账号访问密钥管理。

授权云安全中心访问 Kafka

1. 访问云安全中心控制台-系统配置-功能设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在多云配置管理页签，选择多云资产后，单击新增授权。在弹出的面板中进行如下配置：

   • 厂商：选择 Apache。

   • 接入方式：选择 Kafka。

   • 接入点：填写腾讯云kafka协议消费外网访问地址。

   • 用户名：填写腾讯云kafka协议消费用户名。

   • 密码：设置访问密钥中账号密钥信息拼接（SecretId#SecretKey）。

   • 通信协议：sasl_plaintext。

   • SASL 认证机制：plain。

3. 配置同步策略

   AK服务状态检查：设置云安全中心自动检查腾讯云账号访问密钥有效性的时间间隔。可选“关闭”，表示不进行检测。

创建数据导入任务

1. 创建数据源

   为腾讯云日志数据创建一个专属CTDR 数据源，若已创建请跳过此步骤。

   1. 访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

   2. 在数据源页签，创建接收腾讯云日志的数据源。具体操作请参见创建数据源：日志未接入日志服务（SLS）。

      • 源数据源类型：可选择用户侧日志服务或CTDR专属数据采集通道。

      • 接入实例：建议新建日志库（Logstore），进行数据隔离。

2. 在数据导入页签，单击新增数据导入。在弹出的面板中进行如下配置：

   • 终端节点：选择腾讯云kafka协议消费外网访问地址。

   • Topics：选择腾讯云kafka协议消费的消费主题（topic）。

   • 值类型：参考CLS转储日志的消费数据格式，对应关系如下：

     转储格式	值类型
     JSON	json
     原始内容	text

3. 配置目标数据源

   • 数据源名称：选择步骤1创建的数据源。

   • 目标Logstore：根据选择的数据源，自动拉取该数据源下的日志库。

4. 单击确定保存配置：导入配置完成后，云安全中心将自动从腾讯云拉取日志。

创建从 CLS 到 COS 转储任务

1. 创建 COS 投递任务：

   1. 访问腾讯云-日志主题页面，并在左上角选择对应的日志存储区域。

   2. 单击目标日志主题名称，进入详情页。

      • Web应用防火墙：通常在 waf_post_logset 日志集下，详情参见Web应用防火墙投递至CLS。

      • 云防火墙：可在CLS日志投递页面获取日志主题信息。

   3. 选择左侧导航栏投递到COS后，单击添加投递配置。并按以下要求进行配置：

      说明

      若日志进行归档确认页，单击仍选择投递到COS按钮即可。

      • 基本配置：

        • 投递时间范围：若想支持分析数据，请不要设置结束时间。

        • 投递文件大小：设置投递日志触发值，即日志量累计到该值后才会将日志投递至投递COS。

        • 投递间隔时间：设置日志投递时间间隔，即每隔该时长，将这段时长中的日志，压缩后投递至COS。

        重要

        投递文件大小和投递间隔时间为或（OR）关系，即达到任意其中一个触发条件时，开始投递日志至COS。

      • 存储桶配置：

        • COS存储桶：选择或新建存放腾讯云产品（如WAF、云防火墙）日志的存储桶。

        • 文件命名：建议选择投递时间命名，方便区分数据。

        • 文件压缩：请选择gzip或不压缩。

          警告

          云安全中心目前不支持 lzop 和 snappy 压缩格式的日志文件解析。

        • COS 存储类型：选择标准存储，更多信息参考存储类型概述。

      • 高级配置：

        • 消费数据格式：选择JSON。

        • JSON：选择不转义。

2. 获取COS 存储桶的访问域名（Endpoint）。

   访问腾讯云-存储桶列表，定位步骤3选择的COS存储桶。进入桶详情页，在域名信息区域获取域名信息。

   重要

   • 域名信息注意不包含存储桶名称，格式为：cos.${region}.myqcloud.com。

   • 获取桶访问地址会在后续云安全中心授权访问COS、创建数据导入任务中使用。

   

设置访问密钥

• 使用主账号密钥：访问腾讯云-API密钥管理页面，单击新建密钥。并妥善保存生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考主账号访问密钥管理。

  说明

  API 密钥或者项目密钥均可使用。

• 使用子账号密钥：

  1. 在访问管理控制台的腾讯云-策略 页面，创建最小访问权限策略，以保证密钥使用安全。更多信息请参考投递 COS授权、通过策略语法创建自定义策略。

     {
         "version": "2.0",
         "statement": [
             {
                 "effect": "allow",
                 "action": [
                     "cls:DescribeTopics",
                     "cls:DescribeLogsets",
                     "cls:DescribeIndex",
                     "cls:CreateShipper"
                 ],
                 "resource": "*"
             },
             {
                 "effect": "allow",
                 "action": [
                     "tag:DescribeResourceTagsByResourceIds",
                     "tag:DescribeTagKeys",
                     "tag:DescribeTagValues", 
                     "cls:ModifyShipper",
                     "cls:DescribeShippers",
                     "cls:DeleteShipper",
                     "cls:DescribeShipperTasks",
                     "cls:RetryShipperTask",
                     "cls:DescribeShipperPreview",
                     "cos:GetService",
                     "cam:ListAttachedRolePolicies",
                     "cam:AttachRolePolicy",
                     "cam:CreateRole",
                     "cam:DescribeRoleList"
                 ],
                 "resource": "*"
             }
         ]
     }

  2. 访问腾讯云-用户列表页面，选择已有子账号或创建新的子账号。

     • 添加上一步创建的访问策略。

     • 用户详情页面API密钥页签，单击新建密钥。并妥善保存生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考子账号访问密钥管理。

在云安全中心授权访问COS

1. 访问云安全中心控制台-系统配置-功能设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在多云配置管理页签，选择多云资产后，单击新增授权，下拉选择 IDC。在弹出的面板中进行如下配置：

   • 厂商：选择 AWS-S3。

   • 接入方式：选择S3 。

   • 终端节点（Endpoint）：COS 存储桶的访问域名。

   • Access Key Id/Secret Access Key：设置访问密钥。

3. 配置同步策略

   AK服务状态检查：设置云安全中心自动检查腾讯云账号访问密钥有效性的时间间隔。可选“关闭”，表示不进行检测。

创建数据导入任务

1. 访问云安全中心控制台-威胁分析与响应-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在数据导入页签，单击新增数据导入。在弹出的面板中进行如下配置：

   • 终端节点：COS 存储桶的访问域名。

   • 桶（Bucket）：CLS日志转存配置的COS存储桶。

3. 配置目标数据源

   • 数据源名称：选择状态正常的自定义数据源（自定义日志服务/CTDR专属数据采集通道）。若无合适的数据源，请参考数据源，创建新的数据源。

   • 目标Logstore：根据选择的数据源，自动拉取该数据源下的日志库。

4. 单击确定保存配置：导入配置完成后，云安全中心将自动从腾讯云拉取日志。