导入腾讯云日志数据

创建从 CLS 到 Kafka 协议消费转储任务

1. 开启 Kafka 协议消费

   1. 访问腾讯云-日志主题页面，并在左上角选择对应的日志存储区域。

   2. 单击目标日志主题名称，进入详情页。

      • Web应用防火墙：通常在 waf_post_logset 日志集下，详情参见Web应用防火墙投递至CLS。

      • 云防火墙：可在CLS日志投递页面获取日志主题信息。

   3. 单击左侧导航栏Kafka协议消费，在基本信息页签，单击右侧的编辑并打开启用状态开关。参照如下说明，完成配置后，单击确定。

      • 数据范围：历史+最新。

      • 消费数据格式：JSON（勾选不转义）或原始内容。

      • 数据压缩格式：不压缩。

      • 外网消费：打开。

      • 服务日志：打开。

2. 获取连接 Kafka 服务所需的信息

   完成配置后，单击查看消费者参数，获取所需关键配置信息：CLS外网服务地址（接入点）、用户名、消费主题（topic）以便后续在云安全中心授权访问COS和创建数据导入任务中使用。

   参数	说明
   外网访问地址	格式：kafkaconsumer-${region}.cls.tencentcs.com:9096。
   消费主题	kafka的topic。
   用户名	配置为 ${LogSetID}，即日志集 ID。
   密码	配置为 ${SecretId}#${SecretKey}。

   

设置访问密钥

• 使用主账号密钥：访问腾讯云-API密钥管理页面，单击新建密钥。并妥善保存生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考主账号访问密钥管理。

  说明

  API 密钥或者项目密钥均可使用。

• 使用子账号密钥：

  1. 在访问管理控制台的腾讯云-策略 页面，创建最小访问权限策略，以保证密钥使用安全。更多信息请参考Kafka 协议消费授权、通过策略语法创建自定义策略。

     {
         "version": "2.0",
         "statement": [{
             "action": [
                 "cls:PreviewKafkaRecharge",
                 "cls:CreateKafkaRecharge",
                 "cls:ModifyKafkaRecharge"
             ],
             "resource": "*",
             "effect": "allow"
         }]
     }

  2. 访问腾讯云-用户列表页面，选择已有子账号或创建新的子账号。

     • 添加上一步创建的访问策略。

     • 用户详情页面API密钥页签，单击新建密钥。并妥善保管生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考子账号访问密钥管理。

授权云安全中心访问 Kafka

1. 访问云安全中心控制台-系统配置-功能设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在多云配置管理页签，选择多云资产后，单击新增授权。在弹出的面板中进行如下配置：

   • 厂商：选择 Apache。

   • 接入方式：选择 Kafka。

   • 接入点：填写腾讯云kafka协议消费外网访问地址。

   • 用户名：填写腾讯云kafka协议消费用户名。

   • 密码：设置访问密钥中账号密钥信息拼接（SecretId#SecretKey）。

   • 通信协议：sasl_plaintext。

   • SASL 认证机制：plain。

3. 配置同步策略

   AK服务状态检查：设置云安全中心自动检查腾讯云账号访问密钥有效性的时间间隔。可选“关闭”，表示不进行检测。

创建数据导入任务

1. 创建数据源

   为腾讯云日志数据创建一个专属Agentic SOC 数据源，若已创建请跳过此步骤。

   1. 访问云安全中心控制台-Agentic SOC-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

   2. 在数据源页签，创建接收日志的数据源。具体操作请参见创建数据源：日志未接入日志服务（SLS）。

      • 源数据源类型：可选择Agentic SOC专属数据采集通道（推荐）或用户侧日志服务。

      • 接入实例：建议新建日志库（Logstore），进行数据隔离。

2. 在数据导入页签，单击新增数据导入。在弹出的面板中进行如下配置：

   • 终端节点：选择腾讯云kafka协议消费外网访问地址。

   • Topics：选择腾讯云kafka协议消费的消费主题（topic）。

   • 值类型：参考CLS转储日志的消费数据格式，对应关系如下：

     转储格式	值类型
     JSON	json
     原始内容	text

3. 配置目标数据源

   • 数据源名称：选择步骤1创建的数据源。

   • 目标Logstore：根据选择的数据源，自动拉取该数据源下的日志库。

4. 单击确定保存配置：导入配置完成后，云安全中心将自动从腾讯云拉取日志。

创建从 CLS 到 COS 转储任务

1. 创建 COS 投递任务：

   1. 访问腾讯云-日志主题页面，并在左上角选择对应的日志存储区域。

   2. 单击目标日志主题名称，进入详情页。

      • Web应用防火墙：通常在 waf_post_logset 日志集下，详情参见Web应用防火墙投递至CLS。

      • 云防火墙：可在CLS日志投递页面获取日志主题信息。

   3. 选择左侧导航栏投递到COS后，单击添加投递配置。并按以下要求进行配置：

      说明

      若日志进行归档确认页，单击仍选择投递到COS按钮即可。

      • 基本配置：

        • 投递时间范围：若想支持分析数据，请不要设置结束时间。

        • 投递文件大小：设置投递日志触发值，即日志量累计到该值后才会将日志投递至投递COS。

        • 投递间隔时间：设置日志投递时间间隔，即每隔该时长，将这段时长中的日志，压缩后投递至COS。

        重要

        投递文件大小和投递间隔时间为或（OR）关系，即达到任意其中一个触发条件时，开始投递日志至COS。

      • 存储桶配置：

        • COS存储桶：选择或新建存放腾讯云产品（如WAF、云防火墙）日志的存储桶。

        • 文件命名：建议选择投递时间命名，方便区分数据。

        • COS 路径：COS 存储桶中保存日志的路径。默认按照格式/年/月/日/小时/保存，例如/2022/7/31/14/ ，路径配置支持 strftime 的语法 。

        • 文件压缩：请选择gzip或不压缩。

          警告

          云安全中心目前不支持 lzop 和 snappy 压缩格式的日志文件解析。

        • COS 存储类型：选择标准存储，更多信息参考存储类型概述。

      • 高级配置：

        • 消费数据格式：选择JSON。

        • JSON：选择不转义。

2. 获取COS 存储桶的访问域名（Endpoint）。

   访问腾讯云-存储桶列表，定位步骤3选择的COS存储桶。进入桶详情页，在域名信息区域获取域名信息。

   重要

   • 域名信息注意不包含存储桶名称，格式为：cos.${region}.myqcloud.com。

   • 获取桶访问地址会在后续云安全中心授权访问COS、创建数据导入任务中使用。

   

设置访问密钥

• 使用主账号密钥：访问腾讯云-API密钥管理页面，单击新建密钥。并妥善保存生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考主账号访问密钥管理。

  说明

  API 密钥或者项目密钥均可使用。

• 使用子账号密钥：

  1. 在访问管理控制台的腾讯云-策略 页面，创建最小访问权限策略，以保证密钥使用安全。更多信息请参考投递 COS授权、通过策略语法创建自定义策略。

     {
         "version": "2.0",
         "statement": [
             {
                 "effect": "allow",
                 "action": [
                     "cls:DescribeTopics",
                     "cls:DescribeLogsets",
                     "cls:DescribeIndex",
                     "cls:CreateShipper"
                 ],
                 "resource": "*"
             },
             {
                 "effect": "allow",
                 "action": [
                     "tag:DescribeResourceTagsByResourceIds",
                     "tag:DescribeTagKeys",
                     "tag:DescribeTagValues", 
                     "cls:ModifyShipper",
                     "cls:DescribeShippers",
                     "cls:DeleteShipper",
                     "cls:DescribeShipperTasks",
                     "cls:RetryShipperTask",
                     "cls:DescribeShipperPreview",
                     "cos:GetService",
                     "cam:ListAttachedRolePolicies",
                     "cam:AttachRolePolicy",
                     "cam:CreateRole",
                     "cam:DescribeRoleList"
                 ],
                 "resource": "*"
             }
         ]
     }

  2. 访问腾讯云-用户列表页面，选择已有子账号或创建新的子账号。

     • 添加上一步创建的访问策略。

     • 用户详情页面API密钥页签，单击新建密钥。并妥善保存生成的 SecretId 和 SecretKey（下载CSV文件或复制到本地文件保存）。更多信息，请参考子账号访问密钥管理。

在云安全中心授权访问COS

1. 访问云安全中心控制台-系统配置-功能设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在多云配置管理页签，选择多云资产后，单击新增授权，下拉选择 IDC。在弹出的面板中进行如下配置：

   • 厂商：选择 AWS-S3。

   • 接入方式：选择S3 。

   • 终端节点（Endpoint）：COS 存储桶的访问域名。

   • Access Key Id/Secret Access Key：设置访问密钥。

3. 配置同步策略

   AK服务状态检查：设置云安全中心自动检查腾讯云账号访问密钥有效性的时间间隔。可选“关闭”，表示不进行检测。

创建数据导入任务

1. 访问云安全中心控制台-Agentic SOC-接入中心，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在数据导入页签，单击新增数据导入。在弹出的面板中进行如下配置：

   • 数据源类型：S3。

   • 终端节点：COS 存储桶的访问域名。

   • 桶（Bucket）：CLS日志转存配置的COS存储桶。

   • 文件路径前缀过滤：通过文件路径前缀过滤S3文件，用于准确定位待导入的文件。例如待导入的文件都在csv/目录下，则可以指定前缀为csv/。文件具体路径，请参见COS 路径。

     说明

     强烈建议设置此参数。如果不设置，系统将遍历整个 S3 Bucket。当 Bucket 内文件数量巨大时，全量遍历会严重影响导入效率。

   • 文件路径正则过滤：通过正则表达式筛选文件，用于准确定位待导入的文件。默认为空，表示不过滤。例如S3文件为testdata/csv/bill.csv，可以设置正则表达式为(testdata/csv/)(.*)。

     说明

     • 推荐与文件路径前缀过滤一起设置，提高效率。此配置与文件路径前缀过滤之前为“且（and）”的关系。

     • 调整正则表达式的方法，请参见如何调试正则表达式。

   • 数据格式：文件的解析格式，如下所示。

     • CSV：分隔符分割的文本文件，支持指定文件中的首行为字段名称或手动指定字段名称。除字段名称外的每一行都会被解析为日志字段的值。

     • JSON：逐行读取S3文件，将每一行看作一个JSON对象进行解析。解析后，JSON对象中的各个字段对应为日志中的各个字段。

     • 单行文本：将S3文件中的每一行解析为一条日志。

     • 跨行文本：多行模式，支持指定首行或者尾行的正则表达式解析日志。

     若选择为CSV或跨行文本时，需额外设置相关参数，具体说明如下所示。

     CSV

     参数	说明
     分隔符	设置日志的分隔符，默认值为半角逗号（,）。
     引号	CSV字符串所使用的引号字符。
     转义符	配置日志的转义符，默认值为反斜线（\）。
     日志最大跨行数	当一条日志跨多行时，需要指定最大行数，默认值为1。
     首行作为字段名称	打开开关后，将使用CSV文件中的首行作为字段名称。例如提取下图中的首行为日志字段的名称。
     跳过行数	指定跳过的日志行数。例如设置为1，则表示从CSV文件中的第2行开始采集日志。

     跨行文本

     参数	说明
     正则匹配位置	设置正则表达式匹配的位置，具体说明如下： 首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。 尾行正则：使用正则表达式匹配一条日志的行尾，未匹配部分为下一条日志的一部分，直到达到最大行数。
     正则表达式	根据日志内容，设置正确的正则表达式。调整正则表达式的方法，请参见如何调试正则表达式。
     最大行数	一条日志最大的行数。

   • 编码格式：待导入的S3文件的编码格式。支持GBK、UTF-8。

   • 压缩格式：根据OBS中设置的文件压缩格式，由系统自动检测。

   • 文件修改时间过滤：从任务启动时刻回溯30分钟作为起始时间，导入此后修改的所有文件（含未来新增文件）。

   • 检查新文件周期：用于设置导入任务定期扫描新文件的时间间隔，任务将按此时间间隔自动扫描并导入新增的文件。

3. 配置目标数据源

   • 数据源名称：选择状态正常的自定义数据源（自定义日志服务/Agentic SOC专属数据采集通道）。若无合适的数据源，请参考数据源，创建新的数据源。

   • 目标Logstore：根据选择的数据源，自动拉取该数据源下的日志库。

4. 单击确定保存配置：导入配置完成后，云安全中心将自动从腾讯云拉取日志。