排序和翻页

更新时间:
复制为 MD 格式

使用多元索引查询数据时,通过预先定义排序方式或者查询时指定排序方式,您可以按照指定排列方式获取到返回数据。当返回结果行数较多时,通过使用跳转翻页或者连续翻页可以快速定位到所需数据。

使用场景

分类

使用方式

功能

使用场景

排序

创建时指定排序方式

IndexSort(索引预排序)

多元索引默认按照设置的索引预排序(IndexSort)方式进行排序,用于确定数据的默认返回顺序。

查询时指定排序方式

ScoreSort(分数排序)

按照查询结果的相关性(BM25算法)分数进行排序,适用于有相关性的场景,例如全文检索等。

PrimaryKeySort(主键排序)

按照主键进行排序,适用于按照事物标识排序的场景。

FieldSort(字段值排序)

按照字段值进行排序,适用于电商、社交媒资等按照事物属性排序的场景,例如商品销量、浏览量等。

GeoDistanceSort(地理位置排序)

根据地理点距离进行排序,适用于地图、物流等按照距离排序事物的场景,例如某个位置周边餐厅按距离排序等。

翻页

查询时指定翻页方式

使用 limit 和 offset 翻页

返回结果行数小于100000行时用于跳转翻页。

使用 token 翻页

用于连续翻页,默认只能向后翻页。由于在一次查询的翻页过程中token长期有效,您可以通过缓存并使用之前的token实现向前翻页。

索引预排序

多元索引默认按照设置的索引预排序(IndexSort)方式进行排序,使用多元索引查询数据时,IndexSort决定了数据的默认返回顺序。

在创建多元索引时,您可以自定义IndexSort,如果未自定义IndexSort,则IndexSort默认为主键排序。

重要
  • 索引预排序只支持PrimaryKeySort (按照主键排序)和FieldSort(按照字段值排序)两种方式。

  • 含有Nested类型字段的多元索引不支持索引预排序。

  • 创建多元索引后,如果要修改多元索引的IndexSort,您可以使用动态修改schema功能实现。

查询时排序

只有 enableSortAndAgg 设置为 true 的字段才能进行排序。

在每次查询时,可以指定排序方式,多元索引支持如下四种排序方式(Sorter)。您也可以使用多个Sorter,实现先按照某种方式排序,再按照另一种方式排序的需求。

ScoreSort

ScoreSort

按照查询结果的相关性(BM25算法)分数进行排序,适用于有相关性的场景,例如全文检索等。

重要
  • 如果需要按照相关性打分进行排序,必须手动设置ScoreSort,否则会按照索引设置的IndexSort进行排序。

  • 在使用ScoreSort时,FuzzyKeyword类型的字段不参与排序,且weight参数在FuzzyKeyword类型的字段上无效。

使用 ScoreSort 按 BM25 相关性评分排序,支持升序和降序。

sort: {
    sorters: [
        {
            scoreSort: {
                order: TableStore.SortOrder.SORT_ORDER_ASC
            }
        }
    ]
}

PrimaryKeySort

按照主键进行排序。

使用 PrimaryKeySort 按主键值排序。

sort: {
    sorters: [
        {
            primaryKeySort: {
                order: TableStore.SortOrder.SORT_ORDER_DESC //逆序。
                //order: TableStore.SortOrder.SORT_ORDER_ASC //正序。
            }
        }
    ]
}

FieldSort

使用 FieldSort 按列值排序。

单列排序

按某一列的值排序。

sort: {
    sorters: [
        {
            fieldSort: {
                fieldName: "Col_Keyword",
                order: TableStore.SortOrder.SORT_ORDER_DESC
            }
        }
    ]
}

多列排序

指定多个排序条件,先按第一列排序,再按第二列排序。

sort: {
    sorters: [
        {
            fieldSort: {
                fieldName: "Col_Keyword",
                order: TableStore.SortOrder.SORT_ORDER_DESC
            }
        },
        {
            fieldSort: {
                fieldName: "Col_Long",
                order: TableStore.SortOrder.SORT_ORDER_DESC
            }
        }
    ]
}

GeoDistanceSort

根据地理点距离进行排序。

使用 GeoDistanceSort 按距中心地理坐标点的距离排序。

sort: {
    sorters: [
        {
            geoDistanceSort: {
                fieldName: "Col_Geo_Point",
                points: ["0,0"],//设置中心点。
                order: TableStore.SortOrder.SORT_ORDER_ASC //距离中心点正序返回。
            }
        }
    ]
}

完整示例请参见Search

翻页方式

在获取返回结果时,可以使用limitoffset或者使用token进行翻页。

使用 limit 和 offset 翻页

使用limitoffset翻页

当需要获取的返回结果行数小于100000行时,可以使用limitoffset进行翻页,即limit+offset<=100000,其中limit的最大值为100。

说明

如果需要提高limit的上限,请参见如何将多元索引 Search 接口查询数据的 limit 提高到 1000

如果使用此方式进行翻页时未设置limitoffset,则limit的默认值为10,offset的默认值为0。

通过 offsetlimit 直接跳转到任意页,支持结果集不超过 10 万行的场景。

/**
 * 通过 limit+offset 翻页,直接跳转到第 10 页(第 90~99 条数据)。
 */
client.search({
    tableName: TABLE_NAME,
    indexName: INDEX_NAME,
    searchQuery: {
        offset: 90,
        limit: 10,
        query: {
            queryType: TableStore.QueryType.MATCH_ALL_QUERY
        },
        getTotalCount: true //返回匹配的总行数,默认为 false。
    },
    columnToGet: {
        //RETURN_ALL:返回所有列。
        //RETURN_SPECIFIED:返回指定列。
        //RETURN_NONE:仅返回主键列。
        returnType: TableStore.ColumnReturnType.RETURN_ALL
    }
}, function (err, data) {
    if (err) {
        console.log('error:', err);
        return;
    }
    console.log('success:', JSON.stringify(data, null, 2));
});

使用 token 翻页

由于使用token进行翻页时翻页深度无限制,当需要进行深度翻页时,推荐使用token进行翻页。

当符合查询条件的数据未读取完时,服务端会返回nextToken,此时可以使用nextToken继续读取后面的数据。

使用token进行翻页时默认只能向后翻页。由于在一次查询的翻页过程中token长期有效,您可以通过缓存并使用之前的token实现向前翻页。

token 翻页通过游标(NextToken)逐页获取数据,每次响应中包含下一页的 token。Token 在查询期间持续有效,缓存历史 token 可回到之前的页面。

重要

持久化 NextToken 或将其传递给前端页面时,需使用 Base64 编码将其转换为字符串。Token 本身是字节流(byte stream),不是字符串——直接使用string(NextToken)会导致 token 信息丢失。请使用 Buffer 进行转换:

  1. 编码:data.nextToken.toString("base64")

  2. 解码:Buffer.from(base64String, "base64")

使用token翻页后的排序方式和上一次请求的一致,无论是系统默认使用IndexSort还是自定义排序,因此设置了token不能再设置Sort。另外使用token后不能设置offset,只能依次往后读取,即无法跳页。

重要

由于含有Nested类型字段的多元索引不支持索引预排序,如果使用含有Nested类型字段的多元索引查询数据且需要翻页,则必须在查询条件中指定数据返回的排序方式,否则当符合查询条件的数据未读取完时,服务端不会返回nextToken。

以下示例分别演示同步和异步两种方式的 token 翻页,两者使用相同的初始 params 对象。

var params = {
    tableName: TABLE_NAME,
    indexName: INDEX_NAME,
    searchQuery: {
        offset: 0,
        limit: 10,
        token: null,//设置为上次响应的 nextToken,用于获取下一页数据(字节流类型)。
        query: {
            queryType: TableStore.QueryType.MATCH_ALL_QUERY
        },
        getTotalCount: true
    },
    columnToGet: {
        returnType: TableStore.ColumnReturnType.RETURN_SPECIFIED,
        returnNames: ["pic_tag", "pic_description", "time_stemp", "pos"]
    }
};

/**
 * 同步方式:逐页等待响应后再获取下一页。
 */
(async () => {
  try {
    var data = await client.search(params);
    console.log('success:', JSON.stringify(data, null, 2));

    while (data.nextToken && data.nextToken.length) {
      //token 持久化:将字节流 nextToken 转换为 Base64 字符串保存,
      //使用时再转换回字节流。
      var nextToken = data.nextToken.toString("base64");
      var token = Buffer.from(nextToken, "base64");

      params.searchQuery.token = token;//更新 token,翻到下一页。
      data = await client.search(params);
      console.log('token success:', JSON.stringify(data, null, 2));
    }
  } catch (error) {
      console.log(error);
  }
})()

/**
 * 异步方式:通过回调函数获取下一页数据。
 */
client.search(params, function (err, data) {
    console.log('success:', JSON.stringify(data, null, 2));

    if (data.nextToken && data.nextToken.length) {
        //token 持久化方式与同步示例相同。
        var nextToken = data.nextToken.toString("base64");
        var token = Buffer.from(nextToken, "base64");

        params.searchQuery.token = token;//更新 token,翻到下一页。
        client.search(params, function (err, data) {
            console.log('token success:', JSON.stringify(data, null, 2));
        });
    }
});