折叠(去重)

更新时间:
复制 MD 格式

当数据查询的结果中含有某种类型的数据较多时,可以使用折叠(Collapse)功能按照某一列对结果集做折叠,使对应类型的数据在结果展示中只出现一次,保证结果展示中类型的多样性。

折叠功能可以在大部分场景下实现去重(Distinct)功能,相当于按照折叠列做去重,但是只支持应用于整型、浮点数和Keyword类型的列,不支持数组类型的列,且只能返回排序后的前100000个结果。

注意事项

  • 折叠功能只能使用offset+limit方式翻页,不能使用token方式。

  • 对结果集同时使用统计聚合与折叠功能时,统计聚合功能只作用于使用折叠功能前的结果集。

  • 使用折叠功能后,返回的总分组数取决于offset+limit的最大值,目前支持返回的总分组数最大为100000。

  • 执行结果中返回的总行数是使用折叠功能前的匹配行数,使用折叠功能后的总分组数无法获取。

接口

折叠(去重)功能的接口为Search,通过collapse参数实现。

参数

参数

说明

query

可以是任意Query类型。

collapse

折叠参数设置,包含fieldName设置。

fieldName:列名,按该列对结果集做折叠,只支持应用于整型、浮点数和Keyword类型的列,不支持数组类型的列。

offset

本次查询的开始位置。

limit

本次查询需要返回的最大数量。

如果只为了获取行数,无需具体数据,可以设置limit=0,即不返回任意一行数据。

getTotalCount

是否返回匹配的总行数,默认为false,表示不返回。

返回匹配的总行数会影响查询性能。

tableName

数据表名称。

indexName

多元索引名称。

columnsToGet

是否返回所有列,包含returnAllcolumns设置。

returnAll默认为false,表示不返回所有列,此时可以通过columns指定返回的列;如果未通过columns指定返回的列,则只返回主键列。

当设置returnAlltrue时,表示返回所有列。

使用方式

您可以使用命令行工具或者SDK在查询数据时进行折叠(去重)。进行折叠(去重)之前,您需要完成如下准备工作。

使用命令行工具

通过命令行工具执行search命令使用多元索引查询数据,并在查询条件中配置Collapse参数实现折叠(去重)功能。更多信息,请参见多元索引

  1. 执行search命令使用search_index多元索引查询表中数据,并返回所有建立索引的列。

    search -n search_index --return_all_indexed
  2. 根据系统提示输入查询条件,示例如下:

    {
        "Offset": -1,
        "Limit": 10,
        "Collapse": {
            "FieldName": "product_name"
        },
        "Sort": null,
        "GetTotalCount": true,
        "Token": null,
        "Query": {
            "Name": "MatchQuery",
            "Query": {
                "FieldName": "user_id",
                "Text": "00002",
                "MinimumShouldMatch": 1
            }
        }
    }

使用SDK

您可以通过Java SDKGo SDKPython SDKNode.js SDK.NET SDKPHP SDK在查询数据时进行折叠(去重)。此处以Java SDK为例介绍折叠(去重)的使用。

以下示例查询全部数据,按照 category 字段折叠结果,并按照 price 字段降序排序,因此每个类别返回价格最高的一行数据。

SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(new MatchAllQuery());
searchQuery.setLimit(10);
searchQuery.setCollapse(new Collapse("category"));
searchQuery.setSort(new Sort(
        Arrays.asList(new FieldSort("price", SortOrder.DESC))));

SearchRequest.ColumnsToGet columnsToGet =
        new SearchRequest.ColumnsToGet();
columnsToGet.setColumns(Arrays.asList("category", "price"));

SearchRequest request =
        new SearchRequest("example_table", "example_index", searchQuery);
request.setColumnsToGet(columnsToGet);

SearchResponse response = client.search(request);
System.out.println(response.getRows());

计费说明

使用VCU模式(原预留模式)时,使用多元索引查询数据会消耗VCU的计算资源。使用CU模式(原按量模式)时,使用多元索引查询数据会消耗读吞吐量。更多信息,请参见多元索引计量计费

在查询数据时使用折叠(去重)功能不会影响现有计费规则。

常见问题

相关文档