复制LogStore数据

更新时间:
复制 MD 格式

如果您需要将LogStore中的日志数据保存多份,可以使用数据加工功能复制LogStore数据。本文介绍复制LogStore数据的使用场景和操作步骤。

使用场景

某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将project-a中logstore-a的访问日志复制到新建project-b的logstore-b中,从而后续在project-b进行统一的查询与分析。日志服务提供数据加工的复制功能,可以将logstore-a数据复制到logstore-b。

image

前提条件

  • 已创建LogStore-a,且已完成数据写入。更多信息,请参见管理LogStore。

  • 已创建LogStore-b。已完成LogStore-b性能评估和规划,例如评估Shard数量,请参见性能指南。

操作步骤

  1. 登录日志服务控制台。

  2. 在Project列表中,单击project-a。

  3. 在日志存储 > 日志库页签中,单击LogStore-a

  4. 单击数据加工,进入数据加工模式。

  5. 单击页面右侧的预览数据。预览数据的更多信息,请参见预览调试。

    此处提供快速和高级两种模式,选择快速模式。

  6. 单击页面右侧中间的保存数据加工。

  7. 在创建数据加工任务面板中,配置如下参数,然后单击确定。

    说明

    更多参数说明,请参见创建数据加工任务。

    参数

    说明

    任务名称

    数据加工任务的名称,按默认值。

    显示名称

    用户自定义的任务名称,例如test。

    授权方式

    授予日志服务读取LogStore-a中数据的权限。以默认角色为例,选择默认角色。

    目标名称

    存储目标名称。输入test。

    目标Region

    目标Project所在地域。选择华东1(杭州)。

    目标Project

    LogStore-b所属的Project名称。输入project-b。

    目标库

    LogStore-b名称。输入LogStore-b。

    授权方式

    授予日志服务写LogStore-b的权限。

    以默认角色为例,选择默认角色。

    时间范围

    加工的时间范围。 对LogStore中的数据从开始位置持续加工,直到加工任务被手动停止。选择所有。

查看复制结果

  1. 查看数据加工任务的状态。任务页面的参数说明,请参见管理数据加工任务。

    在左侧导航栏中,选择任务管理 > 数据加工,单击目标任务名称,即可在右侧数据加工概览面板中查看任务状态等基础信息。

  2. 打开project-b项目,在日志存储 > 日志库页签中选择LogStore-b日志库,进入查询分析页面。

  3. 单击页面右上角的开启索引。索引的更多信息,请参见创建索引。

  4. 查看从logstore-a复制的数据。查询结果显示 logstore-b 中已成功接收到数据加工复制的日志,日志的 __source__ 为 actiontrail_internal,__topic__ 为 actiontrail_audit_event。