管理Logstore

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

删除Logstore必须提前删除所有Logtail配置,删除日志是通过设置更短的保存时间,本文介绍Logstore选型、创建及升级Logstore、删除Logstore与日志等操作。

什么是Logstore

日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个Logstore只能属于一个Project,每个Project中可创建多个Logstore。

日志服务提供标准型(Standard规格)和查询型(Query规格)两种类型的Logstore。

重要

标准型(Standard规格)的Logstore包括两种计费模式:

  • 按写入数据量计费。

  • 按使用功能计费。

查询型(Query规格)的Logstore仅支持按使用功能计费。

  • 标准型(Standard规格) Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。

  • 查询型(Query规格) Logstore:索引流量费用低于标准型,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

更多信息,请参见日志库(Logstore)

使用限制

部分功能自动创建的Logstore(如系统LogstoreOSS访问日志的Logstore等)用于存储特定功能或应用的日志数据,不支持写入其他数据。

  • 例如internal-operation_log为系统Logstore,只能用于写入日志服务的详细日志。

  • 例如指定Project下的oss-log-store为OSS访问日志的专属Logstore,只能用于写入OSS访问日志。

创建Logstore

说明

一个Project最多创建的Logstore个数请参见logstore上限

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 日志存储 > 日志库页签中,单击+图标。

    image

  4. 创建Logstore页面中,配置以下参数后,单击确定

    参数

    描述

    Logstore类型

    日志服务支持将查询型Logstore(Query规格)升级为标准型Logstore(Standard规格)。不支持将标准型Logstore(Standard规格)降级为查询型Logstore(Query规格)。

    重要

    升级后,默认启用当前字段索引的统计功能,该功能仅适用于新写入的日志,并且不会增加历史数据的索引流量费用。新写入日志的索引流量费用将根据索引流量日志索引计费项进行计算。更多信息,请参见按使用功能计费模式计费项

    计费模式

    Logstore的计费方式,包含按写入数据量计费按使用功能计费。具体信息,请参见计费项

    Logstore名称

    Logstore的名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

    WebTracking

    打开WebTracking开关后,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。更多信息,请参见使用Web Tracking采集日志

    数据保存时间

    日志在Logstore中的保存时间。

    • 选择数据保存模式为限定天数,并按需设置数据保存时间。单位为天,取值范围:1~3650。当设置的保存期限到达时,日志将会被自动删除。3650天保存时间,标识永久保存。如果调整了保存期限,日志服务会在1小时内清除所有超出新期限的数据,不过控制台首页的用量明细会在次日进行更新。例如,若原先的数据保存期限是5天,并将其改为1天,那么系统将在1小时内删除前4天的日志数据。

    • 选择数据保存模式为永久保存,日志服务将永久保存该Logstore中的日志。

    说明

    通过API方式获取数据保存时间时,如果对应值为3650则表示永久保存。

    智能存储分层

    智能存储分层具体操作,请参见开启智能存储分层。数据热存储、低频存储及归档存储相关费用,请参见计费项

    自动分裂Shard

    打开自动分裂Shard开关后,如果您写入的数据量超过已有Shard服务能力,日志服务会自动根据数据量增加Shard数量。更多信息,请参见管理Shard

    最大分裂数

    打开自动分裂shard开关后,最多支持自动分裂至256个readwrite状态的Shard。

    记录外网IP

    打开记录外网IP开关后,日志服务自动把以下信息添加到日志的Tag字段中。

    • __client_ip__:日志来源设备的公网IP地址。

    • __receive_time__:日志到达服务端的时间,格式为Unix时间戳,表示从1970-1-1 00:00:00 UTC计算起的秒数。

修改Logstore配置

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改

    image

  2. Logstore属性页面中,单击修改。配置参数后,单击保存

    image

删除Logstore

  1. 删除前清理

    1. 删除Logstore前需先删除其对应的所有Logtail配置。具体操作,请参见删除Logtail采集配置

    2. 如果该Logstore上还启用了日志投递,建议删除前停止向该Logstore写入新数据,并确认Logstore中已有的数据已经全部投递成功。

    3. 删除Logstore前,建议在任务管理 > 全部任务查看当前Project的全部任务,并删除与当前Logstore关联的任务。

  2. 删除步骤

    1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 删除

      警告

      Logstore一旦删除,其存储的日志数据将会被永久删除,不可恢复,请谨慎操作。

    2. 警告对话框中,单击确认删除

  3. 删除后事项

    1. 删除全部Logstore的当天仍会产生存储等费用,次日不再产生任何费用。即您在删除全部Logstore的第三天不会再收到日志服务的账单。

    2. 删除Logstore后,以当前Logstore为数据源的导出任务、数据加工任务、定时SQL任务和以当前Logstore为目标的导入任务都将被删除。

API操作

操作

接口

创建Logstore

CreateLogStore

删除Logstore

DeleteLogStore

查询Logstore

修改Logstore

UpdateLogStore

附录:Logstore类型对比

按功能计费模式下,日志服务提供标准型和查询型两种类型的Logstore,两种类型的对比如下所示:

对比项

标准型

Standard Logstore

查询型

Query Logstore

费用

索引流量

0.350元/GB

0.1元/GB

功能

数据采集(仅业务系统日志场景)

支持

支持

不支持采集云产品日志。

开启智能存储分层

支持

支持

查询

支持

支持

分析(SQL语句)

支持

不支持

上下文查询

支持

支持

LiveTail

支持

支持

日志聚类

支持

不支持

重建索引

支持

支持

仪表盘

支持

不支持

告警

支持

仅支持基于查询语句的告警

定时SQL

支持

不支持

数据加工

支持

支持

数据投递

支持

支持

数据消费

支持

支持