使用日志服务查询分析功能前,请先开启并配置索引,本文介绍如何开启并配置索引。

前提条件

已采集日志,详情请参见数据采集

背景信息

开启并配置索引后,才能查询日志数据。请根据您的日志内容和查询需求,合理配置索引。
说明
  • 开启索取后会产生索引流量以及索引对应的存储空间。
  • 开启或修改索引后,索引只对新写入的日志数据生效。如果您要查询历史数据,请参见重建索引
采集日志时,日志服务自动将日志来源、时间等信息以Key-Value对的形式添加到日志中,这些字段是日志服务的内置字段。开启并配置字段索引后,自动开启这些字段的索引和统计功能。
内置字段 说明
__topic__ 日志主题(Topic)。如果您设置了日志主题,日志服务会自动为您的日志添加日志主题字段,Key为__topic__,Value为您的日志主题内容。
__source__ 日志来源。
__time__ 采集日志时指定的日志时间。
说明 默认情况下,__topic____source__的索引分词符为空,查询这两个字段时,查询关键字必须完全匹配。

操作步骤

  1. 登录日志服务控制台
  2. 单击目标Project。
  3. 日志管理 > 日志库页签中,单击目标Logstore右侧的日志库管理图标 > 查询分析
  4. 单击页面右上角的开启索引
  5. 配置索引。
    说明 如果同时配置了全文索引和指定字段索引,以指定字段索引的配置为准。当某个字段配置了字段索引时,则该字段的全文索引不生效。
    索引类型 说明
    全文索引 以文本形式为所有的字段创建索引,Key和Value都是普通文本,都可以查询。
    字段索引 配置字段索引后您可以查询指定字段,缩小查询范围。在查询时,需要在查询分析语句中指定字段名称(Key)。

    字段索引支持自动生成索引属性,单击自动生成索引即可,生成索引属性后,支持手动修改。

    • 配置全文索引。
      参数 说明
      日志聚类 开启日志聚类后,在采集文本日志时,会将相似度高的日志聚合在一起,提取共同的查询条件,详情请参见日志聚类
      全文索引 开启全文索引后,对日志全文开启索引。
      大小写敏感 查询时英文字母是否区分大小写。
      • 关闭大小写敏感,则查询时不区分大小写。例如某条日志含有internalError,那么使用关键字INTERNALERRORinternalerror都能查到该日志。
      • 开启大小写敏感,则查询时区分大小写。例如某条日志含有internalError,那么只能使用internalError才能查询到该日志。
      包含中文 查询时是否区分中英文。
      • 开启包含中文后,如果日志中包含中文,则按照中文语法对中文内容进行分词,按照分词符对英文内容进行分词。
      • 关闭包含中文后,对所有内容按照分词符进行分词。
      例如日志内容为buyer:用户小李飞刀lee。默认分词符为冒号(:),则原始日志会被拆分为buyer用户小李飞刀lee这两个单词,如果搜索用户,则不会返回lee,如果开启包含中文选项后,日志服务后台分词器将日志拆分为buyer用户小李飞刀lee五个单词,您通过飞刀小李飞刀(被解析为小李 and 飞刀)都可以查找到日志。
      说明 中文分词对写入速度会有一定影响,请根据需求谨慎设置。
      分词符 根据指定分词符,将日志内容切分成多个关键词。例如日志内容为/url/pic/abc.gif
      • 如果不设置任何分词符,整个字符串会作为一个独立单词/url/pic/abc.gif,只有通过该完整字符串,或通过模糊查询/url/pic/*才能找到。
      • 如果设置分词符为正斜线(/),则原始日志被切分为urlpicabc.gif三个单词,您通过任意一个单词或单词模糊查询都可以找到该日志,例如urlabc.gifpi*,也可以使用/url/pic/abc.gif进行查询(查询时会被拆分为url and pic and abc.gif三个条件)。
      • 如果设置分词符为正斜线(/)和英文句点(.),则原始日志被切分为urlpicabcgif四个单词。
    • 配置字段索引。
      参数 说明
      字段名称 日志字段名称,例如_address_
      说明
      • 如果配置公网IP地址、Unix时间戳等Tag字段的索引,请将字段名称配置为__tag__:key形式,例如:__tag__:__receive_time__。Tag字段的详情请参见Tag字段
      • Tag字段不支持数值类型索引,请将所有Tag字段的索引的类型配置为text
      类型 日志字段值(Value)的数据类型如下所示,详情请参见索引数据类型
      • text:日志的字段值为文本类型。
      • long:日志的字段值为整数,需要按照数值范围进行查询。
      • double:日志的字段值为小数,需要按照数值范围进行查询。
      • json:日志的字段值为JSON类型。
      说明 数值类型(long和double类型)不支持设置大小写敏感包含中文分词符
      别名 列的别名,例如address

      别名仅用于SQL分析,在查询和底层存储时仍需要使用原始字段名称,详请请参见列的别名

      大小写敏感 查询时英文字母是否区分大小写。
      • 关闭大小写敏感,则查询时不区分大小写。例如某条日志含有internalError,那么使用关键字INTERNALERRORinternalerror都能查到该日志。
      • 开启大小写敏感,则查询时区分大小写。例如某条日志含有internalError,那么只能使用internalError才能查询到该日志。
      分词符 根据指定分词符,将日志内容切分成多个关键词。例如日志内容为/url/pic/abc.gif
      • 如果不设置任何分词符,整个字符串会作为一个独立单词/url/pic/abc.gif,只有通过该完整字符串,或通过模糊查询/url/pic/*才能找到。
      • 如果设置分词符为正斜线(/),则原始日志被切分为urlpicabc.gif三个单词,您通过任意一个单词或单词模糊查询都可以找到该日志,例如urlabc.gifpi*,也可以使用/url/pic/abc.gif进行查询(查询时会被拆分为url and pic and abc.gif三个条件)。
      • 如果设置分词符为正斜线(/)和英文句点(.),则原始日志被切分为urlpicabcgif四个单词。
      包含中文 查询时是否区分中英文。
      • 开启包含中文后,如果日志中包含中文,则按照中文语法对中文内容进行分词,按照分词符对英文内容进行分词。
      • 关闭包含中文后,对所有内容按照分词符进行分词。
      例如日志内容为buyer:用户小李飞刀lee。默认分词符为冒号(:),则原始日志会被拆分为buyer用户小李飞刀lee这两个单词,如果搜索用户,则不会返回lee,如果开启包含中文选项后,日志服务后台分词器将日志拆分为buyer用户小李飞刀lee五个单词,您通过飞刀小李飞刀(被解析为小李 and 飞刀)都可以查找到日志。
      说明 中文分词对写入速度会有一定影响,请根据需求谨慎设置。
      开启统计 是否开启统计分析功能,默认开启。

      开启之后,才能使用分析功能。您可以结合查询语句和分析语句,对日志查询结果进行统计分析。

  6. 单击确定,完成配置。
    配置索引后,在1分钟之内生效。

后续步骤

查询分析日志