日志分析至日志管理迁移指南

迁移流程

迁移方案的核心是建立并行的日志数据流，在确保新链路稳定可靠后，切换流量并停用旧链路。

1. 并行双写：同时启用日志管理和日志分析服务，使增量日志写入两个服务。

2. 数据验证：对比日志管理和日志分析服务中的数据，确保日志管理接收的数据完整、准确。

3. 切换单写：确认数据一致后，关闭日志分析的投递开关，所有增量日志仅写入日志管理服务。

4. 处理历史数据：按需处理日志分析中的历史数据（转存OSS或自然到期删除）。

5. 资源清理：退订日志分析服务，以停止计费，完成全部迁移工作。

关键风险与兼容性说明

• 历史数据丢失风险：在未完成历史数据备份的情况下，提前清空并退订日志分析服务，将导致历史数据永久丢失。

• 查询分析 (SQL)不兼容：由于存储结构的差异，日志分析（按 Topic）和日志管理（按 LogStore）需分别适配 SQL 查询语句，无法通用。

• 管理类API不兼容：日志分析与日志管理在部分管理API（如修改投递开关等）和独有功能上，接口字段、返回结果不兼容，需单独适配。更多API信息，请参考日志管理API、日志分析API。

成本评估

• 双写期间成本：在并行写入阶段，会产生双份的写入流量和存储费用。

• 历史数据处理成本：

  • 选择导出至OSS，会产生 OSS 存储费用。

  • 选择自然到期，需要继续支付日志分析服务最长 180 天的存储费用。

步骤一：启用并配置日志管理

1. 登录控制台

   登录云安全中心控制台。在左侧导航栏，选择检测响应 > 日志管理。在控制台左上角，选择需防护资产所在的区域：中国内地或非中国内地。

   说明

   若已开通威胁分析与响应（CTDR）服务，请前往威胁分析与响应 > 日志管理

2. 开通服务

   在日志管理页面，选择付费模式包年包月购买或开通按量付费后，根据页面引导完成开通。详细内容，请参见开通或关闭日志管理服务。

   • 包年包月：

     • 将威胁分析与响应的是否选购配置项置为是。

     • 根据业务需求填写日志存储容量，单击立即下单并完成支付。如何评估容量，请参见CTDR购买说明。

   • 按量付费：选择存储地域后单击立即开通并授权。

3. 打开投递开关

   1. 可在日志管理页面单击右上角的日志管理设置按钮。

   2. 在日志存储管理区域，云安全中心日志页签，查看并设置对应日志类型的投递状态。

      说明

      • CTDR默认会在30分钟内自动开启所有云安全中心日志类型的投递开关。

      • 如果未购买应用防护、恶意文件检测等增值服务，对应类型的日志投递开关默认关闭。

步骤二：验证日志管理的数据写入

1. 查询日志

   在日志管理页面，在左上角的日志类型下拉列表中，选择云安全中心日志下的产品日志后单击查询/分析。

   重要

   日志写入可能存在 1分钟左右的延迟，请耐心等待。

2. 核对数据

   建议至少对查询出的数据核对以下信息：

   • 实时性：确认最新日志的时间戳与当前时间基本一致。

   • 完整性：抽样对比日志管理与日志分析中的日志，确认字段齐全、无遗漏。

   • 数据量：观察单位时间内的日志量，应与日志分析服务中的增量大致相当。

步骤三：停用日志分析的数据写入

1. 在日志分析服务的页面，找到对应的日志投递开关，并将其关闭。

   

2. 关闭后新的增量日志将不再写入日志分析服务，仅写入日志管理服务。

步骤四：处理历史数据

对于仍在日志分析服务中且未超过180天保存周期的历史数据，参考如下方案处理：

• 方案一：导出历史数据至OSS进行归档

  适用于需长期保留历史数据，以满足合规审计或未来回溯分析需求的场景。

  • 操作说明：

    1. 在日志分析页面，单击日志服务高级管理，跳转至日志服务（SLS）控制台。

    2. 在sas-log日志库详情页，单击左侧的数据处理 > 导出 > OSS（对象存储） 。

    3. 单击+，创建投递任务，投递配置请参见创建OSS投递任务（新版）。

    4. 历史数据保存后，在日志分析页面，单击清空。

       警告

       此为不可逆操作，请确认日志管理数据已正常写入且所有历史数据均已保存完毕。

  • 说明：数据可永久保存，需要时可通过MaxCompute、Data Lake Analytics等工具进行分析。

• 方案二：等待历史数据自然到期

  此方案操作简单，适用于对历史数据无长期存档需求的场景。

  • 操作说明：无需任何操作。在完成增量数据迁移后，只需保持日志分析服务的开启状态，等待其中存储的日志数据达到180天生命周期后被系统自动清理。

  • 说明：在此期间，需要继续为日志分析服务中存储的数据支付存储费用，直到数据完全老化被清空。

步骤五：退订日志分析服务

历史数据处理方案执行完毕后，且存储容量已清空，可参考降配，退订日志分析服务，以停止相关计费。