管理Store

每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。例如您可以创建一个名为app-a的Project，并在该Project下创建名为operation_log、application_log和access_log的Logstore，分别存储App A所涉及的操作日志、应用程序日志和访问日志。

您在执行写入日志、查询和分析日志、加工日志、消费日志、投递日志等操作时，都需要指定Logstore。具体说明如下：

• 以Logstore为采集单元，采集日志。

• 以Logstore为存储单元，存储日志以及执行加工、消费、投递等操作。

• 在Logstore中建立索引，用于查询和分析日志。

日志（Log）格式

文本日志（LogFile）、事件（Event）、数据库日志（BinLog）、时序数据（Metric）等数据都是日志的不同载体。日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志服务对各个数据域的格式要求不同，详细说明如下表所示。

日志主题（Topic）

Topic可用于区分不同服务、用户或实例产生的日志。例如，系统A包含前端HTTP请求处理、缓存、逻辑处理、存储等模块时，可分别为其日志设置Topic（如http_module、cache_module、logic_module、store_module）。日志采集至同一Logstore后，可通过Topic快速区分来源。日志主题（Topic）需在采集配置的全局配置中设置。

如果不需要区分Logstore中的日志，则在采集日志时设置Topic为空-不生成Topic即可。空字符串是一个有效的Topic，即Topic的值为空字符串。

Logstore、Topic、Shard之间的关系如下：

示例

以下以一条网站访问日志为例，说明原始日志与日志服务中数据模型的映射关系。

• 原始日志

  127.0.0.1 - - [01/Mar/2021:12:36:49  0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36

• 通过极简模式采集到日志服务后的日志

  整条原始日志将被上传到content字段中。

  

• 通过完整正则模式采集到日志服务后的日志

  Logtail将日志内容结构化，即根据您所设置的正则表达式将日志内容提取为多个键值对。

  

每个MetricStore隶属于一个Project，每个Project中可创建多个MetricStore。例如您可以创建一个名为demo-monitor的Project，然后在该Project下创建名为host-metrics、cloud-service-metrics和app-metrics的MetricStore，用于分类存储基础主机监控数据、云服务监控数据和业务应用监控数据。

您在执行写入、查询和分析、消费时序数据时，都需要指定MetricStore。具体说明如下：

• 以MetricStore为采集单元，采集时序数据。

• 以MetricStore为存储单元，存储时序数据以及执行消费操作。

• 查询和分析时序数据，支持PromQL语法、SQL92语法和SQL+PromQL语法。

时序数据（Metric）

时序数据由时序标识和数据点组成，相同时序标识的数据组成时间线。

数据结构

日志服务的时序数据类型遵循Prometheus的定义规范，在时序库中所有的数据都按照时序类型存储。时序数据的写入协议和日志写入协议一致，使用Protobuf的数据编码方式。时序标识和数据点都在content字段中，具体表示方式如下所示。

示例

查询process_resident_memory_bytes指标在指定时间区间内的所有原始时序数据。

* | select * from "sls-mall-k8s-metrics.prom" where __name__ = 'process_resident_memory_bytes' limit all

每个EventStore隶属于一个Project，每个Project中可创建多个EventStore。您可以根据实际需求为某个项目创建多个EventStore，一般是为不同类型的事件数据创建不同的EventStore。例如您可以根据基础设施异常事件、业务应用事件、自定义事件等进行分类，通过不同的EventStore来进行存储和分析。

您在执行写入、查询和分析、消费事件数据时，都需要指定EventStore。具体说明如下：

• 以EventStore为采集单元，采集事件数据。

• 以EventStore为存储单元，存储事件数据以及执行消费操作。

事件数据（Event）格式

日志服务的事件数据遵循CloudEvents协议规范，具体说明如下表所示。

示例

例如一个告警事件，示例数据如下：

{
    "specversion": "1.0",
    "id": "af****6c",
    "source": "acs:sls",
    "type": "sls.alert",
    "subject": "https://sls.console.aliyun.com/lognext/project/demo-alert-chengdu/logsearch/nginx-access-log?encode=base64&endTime=1684312259&queryString=c3RhdHVzID49IDQwMCB8IHNlbGVjdCByZXF1ZXN0X21ldGhvZCwgY291bnQoKikgYXMgY250IGdyb3VwIGJ5IHJlcXVlc3RfbWV0aG9kIA%3D%3D&queryTimeType=99&startTime=1684311959",
    "datacontenttype": "application/cloudevents+json",
    "data": {
        "aliuid": "16****50",
        "region": "cn-chengdu",
        "project": "demo-alert-chengdu",
        "alert_id": "alert-16****96-247190",
        "alert_name": "Nginx访问错误",
        "alert_instance_id": "77****e4-1aad9f7",
        "alert_type": "sls_alert",
        "next_eval_interval": 300,
        "fire_time": 1684299959,
        "alert_time": 1684312259,
        "resolve_time": 0,
        "status": "firing",
        "severity": 10,
        "labels": {
            "request_method": "GET"
        },
        "annotations": {
            "__count__": "1",
            "cnt": "49",
            "desc": "Nginx最近五分钟内GET请求错误49次",
            "title": "Nginx访问错误告警触发"
        },
        "results": [
            {
                "region": "cn-chengdu",
                "project": "demo-alert-chengdu",
                "store": "nginx-access-log",
                "store_type": "log",
                "role_arn": "",
                "query": "status >= 400 | select request_method, count(*) as cnt group by request_method ",
                "start_time": 1684311959,
                "end_time": 1684312259,
                "fire_result": {
                    "cnt": "49",
                    "request_method": "GET"
                },
                "raw_results": [
                    {
                        "cnt": "49",
                        "request_method": "GET"
                    },
                    {
                        "cnt": "3",
                        "request_method": "DELETE"
                    },
                    {
                        "cnt": "7",
                        "request_method": "POST"
                    },
                    {
                        "cnt": "6",
                        "request_method": "PUT"
                    }
                ],
                "raw_result_count": 4,
                "truncated": false,
                "dashboard_id": "",
                "chart_title": "",
                "is_complete": true,
                "power_sql_mode": "auto"
            }
        ],
        "fire_results": [
            {
                "cnt": "49",
                "request_method": "GET"
            }
        ],
        "fire_results_count": 1,
        "condition": "Count:[1] > 0; Condition:[49] > 20",
        "raw_condition": "Count:__count__ > 0; Condition:cnt > 20"
    },
    "time": "2023-05-17T08:30:59Z",
    "title": "Nginx访问错误告警触发",
    "message": "Nginx最近五分钟内GET请求错误49次",
    "status": "error"
}