使用日志服务查询分析功能之前,请先开启并配置索引。
背景信息
开启并配置索引后,您才可以查询配置索引后采集到的日志数据。请根据您的日志字段内容和查询需求,合理配置索引。
说明 开启索引后会产生索引流量以及索引对应存储的空间。
采集日志时日志服务会自动将日志来源、时间等信息以Key-Value对的形式添加到日志中,这些字段是日志服务的保留字段。当开启并配置索引时,自动开启这些字段的索引和统计功能。
保留字段名称 | 说明 |
__topic__ |
日志主题(Topic)。如果您设置了日志主题,日志服务会自动为您的日志添加日志主题字段,Key为__topic__ ,Value为您的主题内容。 |
__source__ |
日志来源。该字段表示这条日志的来源设备。 |
__time__ |
使用SDK写入日志数据时指定的日志时间。 |
说明
__topic__
和__source__
的索引分词为空,表示在查询这两个字段时,查询关键字必须完全匹配。操作步骤
单击目标Project。
选择目标日志库名称右侧的
。单击右上角的开启索引。
说明 若您之前已创建过索引,可以单击修改索引。配置索引。
说明 若同时配置了全文索引和指定字段查询,以指定字段查询设置为准。索引类型
索引类型 说明 全文索引 以文本形式为所有的字段创建索引,Key和Value都是普通文本,都可以进行查询。long类型字段在查询具体Value时需要指定对应的Key名称,其他类型字段在查询时不必指定Key的名称。 指定字段查询 配置字段索引后,在查询时需要指定Key的名称。当某个字段配置了指定字段查询时,则该字段的全文索引不生效。 字段可以配置为多种数据类型,包括:
- 配置全文索引。
配置针对全文内容的索引,查询日志时默认查询所有Key对应的内容。
配置项 说明 示例 全文索引 对日志全文内容开启索引,默认的索引会查询日志中所有Key对应的内容,只要有一个命中,就会被查询到。 - 大小写敏感 查询时英文字母是否区分大小写。 - 关闭后,表示日志查询不区分大小写。例如某个日志含有internalError,那么使用关键字”INTERNALERROR”和“internalerror“都能查到该日志。
- 开启后,表示日志查询区分大小写。例如某个日志含有internalError,那么只能使用internalError才能查询到该日志。
- 包含中文 设置是否区分中英文。 - 开启后,如果日志中包含中文,则对中文按照中文语法进行分词,对英文按照分词符进行分词。
- 关闭后,对所有内容按照分词符进行分词。
- 分词符 根据指定分词符,将日志内容切分成多个关键词。 例如一条日志内容为
a,b;c;D-F
。设置分词符为逗号“,”、分号“;”和连字符“-”,可以将日志内容切分为5个关键词”a” “b” “c” “D” “F”。, '";=()[]{}?@&<>/:\n\t
- 配置字段索引。
为特定的字段配置索引,配置字段索引后您可以通过查询特定字段的内容,缩小查询范围。
配置项 说明 示例 字段名称 指定日志字段名称。 说明- 如果配置公网IP、Unix时间戳等tag字段的索引,请将字段名称配置为
__tag__:key
形式,例如__tag__:__receive_time__
。 - tag字段不支持数值类型索引,请将所有tag字段的索引类型配置为text(文本类型)。
_address_
类型 日志字段内容的数据类型,包括: - text:指定日志字段内容为文本类型。
- long:指定日志字段内容为整数,需要按照数值范围进行查询。
- double:指定日志字段内容为小数,需要按照数值范围进行查询。
- json:指定日志字段内容为JSON类型。
说明 数值类型(long和double类型)不支持设置大小写敏感、包含中文和分词符。- 别名 列的别名。 别名仅用于SQL统计,在底层存储和搜索时仍需要使用原始名称。详细说明请参见列的别名。
address
大小写敏感 查询时英文字母是否区分大小写。 - 关闭后,表示日志查询不区分大小写。例如某个日志含有internalError,那么使用关键字”INTERNALERROR”和“internalerror“都能查到该日志。
- 开启后,表示日志查询区分大小写。例如某个日志含有internalError,那么只能使用”internalError”才能查询到该日志。
- 分词符 根据指定单字符,将日志内容切分成多个关键词。 例如一条日志内容为
a,b;c;D-F
。设置分词符为逗号“,”、分号“;”和连字符“-”,可以将日志内容切分为5个关键词”a” “b” “c” “D” “F”。, '";=()[]{}?@&<>/:\n\t
包含中文 设置是否区分中英文。 - 开启后,如果日志中包含中文,则对中文按照中文语法进行分词,对英文按照分词符进行分词。
- 关闭后,对所有内容按照分词符进行分词。
- 开启统计 是否开启统计分析功能。该功能默认开启。 开启之后,您可以结合查询语句和分析语句,对日志查询结果进行统计分析。
- - 如果配置公网IP、Unix时间戳等tag字段的索引,请将字段名称配置为
- 配置全文索引。
单击确定完成配置。
说明- 索引配置在1分钟之内生效。
- 开启或修改索引后,新的索引配置只对新写入的数据生效。