文档

管理Logstore

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

删除Logstore必须提前删除所有Logtail配置,删除日志是通过设置更短的保存时间,本文介绍Logstore选型、创建及升级Logstore、删除Logstore与日志等操作。

基本概念

日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project,每个Project中可创建多个Logstore。

日志服务提供标准型(Standard)和查询型(Query)两种类型的Logstore。

重要

当计费模式为按写入数据量计费时,仅支持标准型(Standard)Logstore。

  • 标准型Standard Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。

  • 查询型Query Logstore:支持高性能查询,索引流量费用低于标准型,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

更多信息,请参见日志库(Logstore)

存储选型对比

按功能计费模式下,日志服务提供标准型和查询型两种类型的Logstore,两种类型的对比如下所示:

对比项

标准型

Standard Logstore

查询型

Query Logstore

费用

索引流量

0.350元/GB

0.1元/GB

功能

数据采集(仅业务系统日志场景)

支持

支持

不支持采集云产品日志。

开启智能存储分层

支持

支持

查询

支持

支持

分析(SQL语句)

支持

不支持

上下文查询

支持

支持

LiveTail

支持

支持

日志聚类

支持

不支持

重建索引

支持

支持

仪表盘

支持

不支持

告警

支持

仅支持基于查询语句的告警

定时SQL

支持

不支持

数据加工

支持

支持

数据投递

支持

支持

数据消费

支持

支持

使用限制

专属Logstore(系统Logstore、云产品日志专属Logstore等)只能用于存放其专属数据,不支持写入其他数据。

  • 例如internal-operation_log为系统Logstore,只能用于写入日志服务的详细日志。

  • 例如指定Project下的oss-log-store为OSS访问日志的专属Logstore,只能用于写入OSS访问日志。

创建Logstore

说明

一个Project中,最多创建200个Logstore。

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

  3. 日志存储 > 日志库页签中,单击+图标。

  4. 创建Logstore页面中,配置如下参数。

  5. 参数

    描述

    Logstore类型

    日志服务提供查询型Logstore和标准型Logstore。两种类型的对比,请参见存储选型对比

    支持将查询型Logstore升级为标准型Logstore。具体操作,请参见方式一

    重要

    不支持将标准型Logstore降级为查询型Logstore。

    计费模式

    Logstore的计费方式,包含按写入数据量计费按使用功能计费。具体信息,请参见计费项

    说明

    当首次使用按写入数据量计费时,需要根据界面提示进行开通。

    Logstore名称

    Logstore的名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

    WebTracking

    打开WebTracking开关后,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。更多信息,请参见使用Web Tracking采集日志

    数据保存时间

    日志在Logstore中的保存时间。

    • 选择数据保存模式为限定天数保存,并按需设置数据保存时间。单位为天,取值范围:1~3000。

      警告
      • 当日志保存时间达到您所设置的保存时间后,日志将被删除。

      • 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的用量明细将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。

    • 选择数据保存模式为永久保存时,日志服务将永久保存该Logstore中的日志。

      说明

      通过API方式获取数据保存时间时,如果对应值为3650则表示永久保存。

    智能存储分层

    开通智能存储分层,可按需将数据存储在热存储层、低频存储层或归档存储层。

    • 按需配置热存储数据保存时间,并选择后续自动转换低频存储时,数据保存超出配置的保存时间后,将自动转入低频存储层。若配置低频存储时间后选择自动删除,则数据保存在低频存储层超出配置的保存时间后将自动删除。

    • 按需配置热存储数据保存时间,并选择后续自动转换低频存储时,数据保存超出配置的保存时间后,将自动转入低频存储层。若配置低频存储时间后选择自动转换归档存储时,则数据保存在低频存储层超出配置的保存时间后将自动转入归档存储层。

    • 按需配置热存储数据保存时间,并选择后续自动转换归档存储时,数据保存超出配置的保存时间后,将自动转入归档存储层。若配置归档存储时间后选择自动删除,则数据保存在归档存储层超出配置的保存时间后将自动删除。

    重要
    • 数据热存储、低频存储及归档存储相关信息,可参见数据分层存储概述

    • 数据热存储至少7天后才能转为低频存储,数据热存储至少30天后才能转为归档存储,数据低频存储至少30天后才能转为归档存储,详细信息,请参见数据存储生命周期管理

    • 数据热存储、低频存储及归档存储相关费用,请参见计费项

    Shard数目

    日志服务使用Shard读写数据。一个Shard提供的写入能力为5 MB/s、500次/s,读取能力为10 MB/s、100次/s。每个Logstore中最多创建10个Shard,每个Project中最多创建200个Shard。更多信息,请参见分区(Shard)

    创建Logstore时,日志服务默认为您配置2个Shard。关于Shard的常见计费问题,请参见为什么会产生活跃Shard租用费用?

    自动分裂Shard

    打开自动分裂Shard开关后,如果您写入的数据量超过已有Shard服务能力,日志服务会自动根据数据量增加Shard数量。更多信息,请参见管理Shard

    最大分裂数

    打开自动分裂shard开关后,最多支持自动分裂至256个readwrite状态的Shard。

    记录外网IP

    打开记录外网IP开关后,日志服务自动把以下信息添加到日志的Tag字段中。

    • __client_ip__:日志来源设备的公网IP地址。

    • __receive_time__:日志到达服务端的时间,格式为Unix时间戳,表示从1970-1-1 00:00:00 UTC计算起的秒数。

  6. 单击确定

修改Logstore配置

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改

  2. Logstore属性页面中,单击修改

    具体的参数说明请参见创建Logstore

    重要

    计费模式支持从按写入数据量计费修改为按功能计费。暂不支持由按功能计费修改为按写入数据量计费。

  3. 单击保存,完成修改。

升级Logstore规格

日志服务支持将查询型Logstore升级为标准型Logstore。您可以在Logstore属性页面或在执行分析相关的操作时,根据页面提示,完成升级。

重要
  • 升级后,默认打开当前字段索引的统计功能。统计功能仅对新写入的日志生效。

    开启统计功能,不会增加历史数据的索引流量费用。

  • 升级后,新写入的日志按照索引流量-日志索引计费项计算索引流量费用。更多信息,请参见按使用功能计费模式计费项

方式一

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改

  2. Logstore属性页面中,单击修改

  3. Logstore类型配置项中,单击升级规格

  4. 在确认提示框中,单击确认升级

  5. 单击保存,完成修改。

方式二

在配置索引时,单击开启统计,系统将提示您升级Logstore规格。您可以单击立即升级,完成升级。关于索引配置的更多信息,请参见创建索引升级Logstore规格

方式三

快速分析页签中,单击目标字段,系统将提示您升级Logstore规格。您可以单击立即升级,完成升级。关于快速分析的更多信息,请参见快速分析升级Logstore规格

删除Logstore

重要
  • 删除Logstore前需先删除其对应的所有Logtail配置。具体操作,请参见删除Logtail采集配置

  • 如果该Logstore上还启用了日志投递,建议删除前停止向该Logstore写入新数据,并确认Logstore中已有的数据已经全部投递成功。

  • 删除全部Logstore的当天仍会产生存储等费用,次日不再产生任何费用。即您在删除全部Logstore的第三天不会再收到日志服务的账单。

  • 删除Logstore后,以当前Logstore为数据源的导出任务、数据加工任务、定时SQL任务和以当前Logstore为目标的导入任务都将被删除。

    删除Logstore前,建议在任务管理 > 全部任务查看当前Project的全部任务,并删除与当前Logstore关联的任务。

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 删除

    警告

    Logstore一旦删除,其存储的日志数据将会被永久删除,不可恢复,请谨慎操作。

  2. 删除对话框中,单击确认

删除日志

当日志保存时间达到您所设置的保存时间后,日志将被删除。因此您可以通过修改数据保存时间,从而删除日志。

重要

缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的用量明细将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。

开启智能存储分层功能

您可以在Logstore属性页面,开启智能存储分层功能。具体操作,请参见开启智能存储分层

Logstore接口

操作

接口

创建Logstore

CreateLogStore

删除Logstore

DeleteLogStore

查询Logstore

修改Logstore

UpdateLogStore

相关阅读

如果想要将多个不同Logstore的数据进行汇总,可以使用数据加工,详情参见多源Logstore数据汇总

  • 本页导读 (1)
文档反馈