全部产品

    开启并配置索引

    更新时间:2021-02-03 14:02:19

    使用日志服务查询分析功能之前,请先开启并配置索引。

    背景信息

    开启并配置索引后,您才可以查询配置索引后采集到的日志数据。请根据您的日志字段内容和查询需求,合理配置索引。

    说明 开启索引后会产生索引流量以及索引对应存储的空间。

    采集日志时日志服务会自动将日志来源、时间等信息以Key-Value对的形式添加到日志中,这些字段是日志服务的保留字段。当开启并配置索引时,自动开启这些字段的索引和统计功能。

    日志服务保留字段

    保留字段名称 说明
    __topic__ 日志主题(Topic)。如果您设置了日志主题,日志服务会自动为您的日志添加日志主题字段,Key为__topic__,Value为您的主题内容。
    __source__ 日志来源。该字段表示这条日志的来源设备。
    __time__ 使用SDK写入日志数据时指定的日志时间。
    说明 __topic____source__的索引分词为空,表示在查询这两个字段时,查询关键字必须完全匹配。

    操作步骤

    1. 登录日志服务控制台

    2. 单击目标Project。

    3. 选择目标日志库名称右侧的日志库管理图标 > 查询分析

    4. 单击右上角的开启索引

      说明 若您之前已创建过索引,可以单击查询分析属性 > 设置修改索引。
    5. 配置索引。

      说明 若同时配置了全文索引和指定字段查询,以指定字段查询设置为准。

      索引类型

      索引类型 说明
      全文索引 以文本形式为所有的字段创建索引,Key和Value都是普通文本,都可以进行查询。long类型字段在查询具体Value时需要指定对应的Key名称,其他类型字段在查询时不必指定Key的名称。
      指定字段查询 配置字段索引后,在查询时需要指定Key的名称。当某个字段配置了指定字段查询时,则该字段的全文索引不生效。

      字段可以配置为多种数据类型,包括:

      • 配置全文索引。

        配置针对全文内容的索引,查询日志时默认查询所有Key对应的内容。

        配置项 说明 示例
        全文索引 对日志全文内容开启索引,默认的索引会查询日志中所有Key对应的内容,只要有一个命中,就会被查询到。 -
        大小写敏感 查询时英文字母是否区分大小写。
        • 关闭后,表示日志查询不区分大小写。例如某个日志含有internalError,那么使用关键字”INTERNALERROR”和“internalerror“都能查到该日志。
        • 开启后,表示日志查询区分大小写。例如某个日志含有internalError,那么只能使用internalError才能查询到该日志。
        -
        包含中文 设置是否区分中英文。
        • 开启后,如果日志中包含中文,则对中文按照中文语法进行分词,对英文按照分词符进行分词。
        • 关闭后,对所有内容按照分词符进行分词。
        -
        分词符 根据指定分词符,将日志内容切分成多个关键词。

        例如一条日志内容为a,b;c;D-F。设置分词符为逗号“,”、分号“;”和连字符“-”,可以将日志内容切分为5个关键词”a” “b” “c” “D” “F”。

        , '";=()[]{}?@&<>/:\n\t

      • 配置字段索引。

        为特定的字段配置索引,配置字段索引后您可以通过查询特定字段的内容,缩小查询范围。

        配置项 说明 示例
        字段名称 指定日志字段名称。
        说明
        • 如果配置公网IP、Unix时间戳等tag字段的索引,请将字段名称配置为__tag__:key形式,例如__tag__:__receive_time__
        • tag字段不支持数值类型索引,请将所有tag字段的索引类型配置为text(文本类型)。
        _address_
        类型 日志字段内容的数据类型,包括:
        • text:指定日志字段内容为文本类型。
        • long:指定日志字段内容为整数,需要按照数值范围进行查询。
        • double:指定日志字段内容为小数,需要按照数值范围进行查询。
        • json:指定日志字段内容为JSON类型。
        说明 数值类型(long和double类型)不支持设置大小写敏感包含中文分词符
        -
        别名 列的别名。

        别名仅用于SQL统计,在底层存储和搜索时仍需要使用原始名称。详细说明请参见列的别名

        address
        大小写敏感 查询时英文字母是否区分大小写。
        • 关闭后,表示日志查询不区分大小写。例如某个日志含有internalError,那么使用关键字”INTERNALERROR”和“internalerror“都能查到该日志。
        • 开启后,表示日志查询区分大小写。例如某个日志含有internalError,那么只能使用”internalError”才能查询到该日志。
        -
        分词符 根据指定单字符,将日志内容切分成多个关键词。

        例如一条日志内容为a,b;c;D-F。设置分词符为逗号“,”、分号“;”和连字符“-”,可以将日志内容切分为5个关键词”a” “b” “c” “D” “F”。

        , '";=()[]{}?@&<>/:\n\t
        包含中文 设置是否区分中英文。
        • 开启后,如果日志中包含中文,则对中文按照中文语法进行分词,对英文按照分词符进行分词。
        • 关闭后,对所有内容按照分词符进行分词。
        -
        开启统计 是否开启统计分析功能。该功能默认开启。

        开启之后,您可以结合查询语句和分析语句,对日志查询结果进行统计分析。

        -

    6. 单击确定完成配置。

      说明
      • 索引配置在1分钟之内生效。
      • 开启或修改索引后,新的索引配置只对新写入的数据生效。