复制Logstore数据

如果您需要将Logstore中的日志数据保存多份,可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。

使用场景

某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将project-alogstore-a的访问日志复制到新建project-blogstore-b中,从而后续在project-b进行统一的查询与分析。日志服务提供数据加工的复制功能,可以将logstore-a数据复制到logstore-b

image

前提条件

  • 已创建logstore-a,且已完成数据写入。更多信息,请参见管理Logstore

  • 已创建logstore-b。已完成logstore-b性能评估和规划,例如评估Shard数量,请参见性能指南

操作步骤

  1. 登录日志服务控制台

  2. 在Project列表中,单击project-a。

  3. 日志存储 > 日志库页签中,单击logstore-a

    image

  4. 单击数据加工,进入数据加工模式。

    image

  5. 单击页面右侧的预览数据。预览数据的更多信息,请参见预览调试概述

    image

  6. 单击页面右侧中间的保存数据加工

  7. 创建数据加工任务面板中,配置如下参数,然后单击确定

    说明

    更多参数说明,请参见创建数据加工任务

    参数

    说明

    任务名称

    数据加工任务的名称,按默认值。

    显示名称

    用户自定义的任务名称,例如test

    授权方式

    授予日志服务读取logstore-a中数据的权限。以默认角色为例,选择默认角色

    目标名称

    存储目标名称。输入test

    目标Region

    目标Project所在地域。选择华东1(杭州)

    目标Project

    logstore-b所属的Project名称。输入project-b

    目标库

    logstore-b名称。输入logstore-b

    授权方式

    授予日志服务写logstore-b的权限。

    以默认角色为例,选择默认角色

    时间范围

    加工的时间范围。 对Logstore中的数据从开始位置持续加工,直到加工任务被手动停止。选择所有

查看复制结果

  1. 查看数据加工任务的状态。任务页面的参数说明,请参见管理数据加工任务

    image

  2. 打开project-b项目,在日志存储 > 日志库页签中选择logstore-b日志库,进入查询分析页面。

  3. 单击页面右上角的开启索引。索引的更多信息,请参见创建索引

    image

  4. 查看从logstore-a复制的数据。image