冷数据

功能原理

冷数据是基于阿里云自研的安全数据湖能力，联合OSS提供的日志存储及数据湖构建服务提供的日志分析能力。

开通冷数据功能后，威胁分析与响应服务会在OSS服务创建两个Bucket：

• security-lake-阿里云账号ID-数据湖名称：该Bucket存储投递到冷数据中的日志数据。日志数据会按照您设置的存储天数进行保存，超过存储天数的日志会被删除。

• security-lake-阿里云账号ID-数据湖名称-query-result：该Bucket存储日志查询的结果，该Bucket内的数据长期保存。您可以自行清理无需保存的历史数据。

Bucket所属的地域为华东2（上海）。

计费说明

• 按存储的OSS数据量，由OSS服务收取存储费用。更多信息，请参见计费概述。

• 查询数据时会使用数据湖构建的能力，可能会产生费用，对应费用由数据湖构建DLF服务收取。更多信息，请参见计费模式。

  重要

  DLF产品目前所有功能为0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。

• 冷数据功能处于公测中，不收取费用。

多账号统一管理说明

在多账号统一管理场景下，如果您使用全局账号管理员登录云安全中心控制台，在日志管理页面管理日志前，需要切换视图。视图说明如下：

• 当前账号视图：查看并管理当前账号下的冷数据。

• 全局账号视图：查看并管理威胁分析与响应管控范围内的阿里云账号的冷数据。

前提条件

已开通对象存储OSS服务。更多信息，请参见步骤一：开通OSS服务。

步骤一：开启投递

从北京时间2024年09月12日起，不再支持阿里云账户申请并开通冷数据公测。仅支持在此时间点前已开启公测的用户，参考下述操作开启日志投递。

1. 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域中国。

2. 在左侧导航栏，选择威胁分析与响应 > 产品接入。

3. 在产品接入页面右上角，单击日志存储管理。

4. 在日志投递管理区域，打开需要投递的日志类型投递到冷数据/启停时间列下的开关。

   您可以选中多个日志类型后，单击批量投递，并选择到冷数据。

步骤二：查询日志

1. 在左侧导航栏，选择威胁分析与响应 > 日志管理。

2. 在冷数据页签，单击查询1，在SQL语句执行区域输入需要执行的SQL语句，单击运行。

   在数据库左侧列表中可以查看支持查询的字段。

   

   以下是查询使用的常见语句：

   • 简单查询

     select u_name,file_path,activity_name,category_name,proc_path,intra_ip,container_host_name,asset_id,container_machine_ip,ecs_instance_id,parent_proc_path,cmd_line_format,container_file_path,k8s_name_space,asset_name,euid_name,main_user_id,inter_ip,parent_proc_start_time,cloud_code,parent_file_path,raw_data,file_uid,comm,k8s_cluster_id,container_image_id,pcomm,log_name,proc_id,index,file_uid_name,parent_file_name,srv_cmd_line,start_time,container_image_name,client_mode,cmd_chain_index,os_type,container_type,proc_name,parent_proc_id,docker_image_name,container_id,gid,perm,docker_container_id,proc_start_time,product_code,host_uuid,file_gid_name,sid,uid,k8s_node_name,file_gid,occur_time,vpc_instance_id,egroup_name,asset_type,sub_user_id,parent_cmd_line,docker_image_id,class_name,asset_list,k8s_node_id,euid,file_name,host_instance_id,end_time,k8s_pod_name,time_zone,egroup_id,log_time,cwd,gid_name,cmd_line,container_name,log_code,parent_proc_name,docker_file_path,tty,os_name,cmd_chain,scan_time,host_name
      from test****_17661858941*****.cloud_siem_aegis_proc
      where year = '2024' AND month = '03' AND day = '26' 
      limit 200

     查询结果如下：

     

   • 统计分析

     select asset_id, `year`, `month`, `day`, `hour`, count(1)  
     from test****_17661858941*****.cloud_siem_aegis_proc 
     where year = '2024' AND month = '03' AND day = '26'  
     group by asset_id, year, month, day, hour  

     查询结果如下：

     

3. 在查询结果下方，单击下载，可下载查询结果的CSV文件。

   最多支持下载1万条记录。

更多操作

修改日志存储天数

日志存储容量管理

您可以通过删除Bucket内文件的方式减少冷数据占用的存储空间。

1. 在左侧导航栏，选择威胁分析与响应 > 产品接入。

2. 在产品接入页面右上角，单击日志存储管理。

3. 在日志管理面板，单击前往OSS控制台清空容量。

4. 在OSS控制台，删除不需要保存的日志文件。

   具体操作，请参见删除文件。

相关文档

• 云安全中心计划下线冷数据功能。如果您需要存储威胁分析与响应接入的多种云产品日志，建议使用威胁分析与响应的日志管理功能。更多信息，请参见日志管理。

• 如需查看通过冷数据功能投递的日志，您可以通过数据湖构建控制台的数据探索功能访问已在对象存储OSS产品中存储的数据。更多信息，请参见产品简介。