使用日志服务查询分析功能之前,请先开启并配置索引。

背景信息

开启并配置索引后,您才可以查询配置索引后采集到的日志数据。请根据您的日志字段内容和查询需求,合理配置索引。
说明
  • 开启查询和统计后意味着数据将会在后台被索引,会产生索引的流量,以及索引对应存储的空间。
  • 开启和修改索引后,新的索引配置只对新写入的数据生效。
  • 全文索引属性和字段索引属性必须至少启用一种。
  • 打开对应字段的统计功能,才能使用SQL进行统计分析
  • 如果配置公网IP、Unix时间戳等Tag字段的索引,请配置字段名称__tag__:key,例如__tag__:__receive_time__。同时,Tag字段不支持数值类型索引,请将所有Tag字段的索引类型配置为text(文本类型)。例如__tag__:__receive_time__字段,在查询时使用模糊查询__tag__:__receive_time__: 1537928*或全部匹配字段值__tag__:__receive_time__: 1537928404
采集日志时日志服务会自动将日志来源、时间等信息以Key-Value对的形式添加到日志中,这些字段是日志服务的保留字段。当开启并配置索引时,自动开启这些字段的索引和统计功能。
说明 __topic____source__的索引分词为空,表示在查询这两个字段时,查询关键字必须完全匹配。
表 1. 日志服务保留字段
保留字段名称 说明
__topic__ 日志主题(Topic)。如果您设置了日志主题,日志服务会自动为您的日志添加日志主题字段,Key为__topic__,Value为您的主题内容。
__source__ 日志来源。该字段表示这条日志的来源设备。
__time__ 使用SDK写入日志数据时指定的日志时间。

操作步骤

  1. 登录日志服务控制台,单击Project名称。
  2. 单击日志库名称后的日志库管理图标图标,选择查询分析
  3. 单击右上角的开启索引

    开启索引
    说明 若您之前已创建过索引,可以单击查询分析属性 > 设置,修改索引。

    查询分析属性
  4. 配置索引。
    日志服务支持配置全文索引和字段索引,请至少配置一种。
    说明 若同时配置了全文索引属性和字段索引属性,以字段索引属性设置为准。
    索引类型 说明
    全文索引 以文本形式对所有的字段进行建索引,Key和Value都是普通文本,都可查询。long类型字段在查询具体Value时需要指定对应的Key名称,其他类型字段在查询时不必指定Key的名称。
    字段索引 配置字段索引后,在查询时要指定Key的名称,当有某个字段配置了字段索引时,该字段上的全文索引不生效。
    字段可以配置为多种数据类型,包括:
    • 配置全文索引。
      配置针对全文内容的索引,查询日志时默认查询所有Key对应的内容。
      配置 说明 示例
      全文索引 对日志全文内容开启索引,默认的索引会查询日志中所有Key对应的内容,只要有一个命中,就会被查询到。 -
      大小写敏感 查询时是否区分大小写。其中:
      • 关闭后,表示不区分大小写,即查询关键字“INTERNALERROR”和“internalerror”都能查询到对应日志。
      • 开启后,表示区分大小写,只能通过关键字“internalError”查询到对应日志。
      -
      包含中文 设置是否区分中英文。
      • 开启后,如果日志中包含中文,则对中文按照中文语法进行分词,对英文按照分词字符进行分词。
      • 关闭后,对所有内容按照分词符进行分词。
      -
      分词符 根据指定单字符,将日志内容切分成多个关键词。例如一条日志内容为a,b;c;D-F。设置分隔符为逗号,、分号;和连字符-,可以将日志内容切分为5个关键词abcDF , '";=()[]{}?@&<>/:\n\t
    • 配置字段索引。
      为特定的Key配置索引,配置字段索引后,可以通过查询特定Key的内容,缩小查询范围。
      说明
      • 日志服务自动为您创建保留字段__topic____source____time__的索引和统计功能。

      • 本文档以自定义页签为例。Nginx模板和消息服务模板仅用于采集Nginx日志和消息服务日志,不支持自定义配置索引。

      • 如果配置公网IP、Unix时间戳等Tag字段的索引,请配置字段名称__tag__:key,例如__tag__:__receive_time__。同时,Tag字段不支持数值类型索引,请将所有Tag字段的索引类型配置为text(文本类型)。例如__tag__:__receive_time__字段,在查询时使用模糊查询__tag__:__receive_time__: 1537928*或全部匹配字段值__tag__:__receive_time__: 1537928404
      配置 说明 示例
      字段名称 指定日志字段名称。 _address_
      类型 日志字段内容的数据类型,包括:
      • text:指定日志字段内容为文本类型。
      • long:指定日志字段内容为整数,需要按照数值范围进行查询。
      • double:指定日志字段内容为小数,需要按照数值范围进行查询。
      • json:指定日志字段内容为json类型。
      说明 数值类型(long和double类型)不支持设置大小写敏感分词符包含中文
      -
      别名 列的别名。

      别名仅用于SQL统计,在底层存储时,仍然是原始名称,搜索时仍需要使用原始名称。详细说明请参考列的别名

      address
      大小写敏感 查询时,英文字母是否区分大小写。其中,
      • 关闭后,不区分大小写,即查询关键字“INTERNALERROR”和“internalerror”都能查询到样例日志。
      • 开启后,区分大小写,只能通过关键字“internalError”查询到样例日志。
      -
      分词符 根据指定单字符,将日志内容切分成多个关键词。

      例如一条日志内容为a,b;c;D-F。设置分隔符为逗号“,”、分号“;”和连字符“-”,可以将日志内容切分为5个关键词”a” “b” “c” “D” “F”。

      , '";=()[]{}?@&<>/:\n\t
      包含中文 开启后,如果日志中包含中文,则对中文按照中文语法进行分词,对英文按照分词字符进行分词;关闭后,对所有内容按照分词符进行分词。 -
      开启统计 是否开启统计分析功能。该功能默认开启。

      开启之后,您可以结合查询语句和分析语句,对日志查询结果进行统计分析。

      -


  5. 单击确定,结束配置。
    说明
    • 索引配置在1分钟之内生效。
    • 开启或修改索引后,新的索引配置只对新写入的数据生效。