排序和翻页

使用多元索引查询数据时,通过预先定义排序方式或者查询时指定排序方式,您可以按照指定排列方式获取到返回数据。当返回结果行数较多时,通过使用跳转翻页或者连续翻页可以快速定位到所需数据。

使用场景

分类

使用方式

功能

使用场景

排序

创建时指定排序方式

IndexSort(索引预排序)

多元索引默认按照设置的索引预排序(IndexSort)方式进行排序,用于确定数据的默认返回顺序。

查询时指定排序方式

ScoreSort (分数排序)

按照查询结果的相关性(BM25算法)分数进行排序,适用于有相关性的场景,例如全文检索等。

PrimaryKeySort(主键排序)

按照主键进行排序,适用于按照事物标识排序的场景。

FieldSort(字段值排序)

按照字段值进行排序,适用于电商、社交媒资等按照事物属性排序的场景,例如商品销量、浏览量等。

GeoDistanceSort(地理位置排序)

根据地理点距离进行排序,适用于地图、物流等按照距离排序事物的场景,例如某个位置周边餐厅按距离排序等。

翻页

查询时指定翻页方式

使用LimitOffser翻页

返回结果行数小于50000行时用于跳转翻页。

使用Token翻页

用于连续翻页,默认只能向后翻页。由于在一次查询的翻页过程中Token长期有效,您可以通过缓存并使用之前的Token实现向前翻页。

索引预排序

多元索引默认按照设置的索引预排序(IndexSort)方式进行排序,使用多元索引查询数据时,IndexSort决定了数据的默认返回顺序。

在创建多元索引时,您可以自定义IndexSort,如果未自定义IndexSort,则IndexSort默认为主键排序。

重要
  • 索引预排序只支持PrimaryKeySort (按照主键排序)和FieldSort(按照字段值排序)两种方式。

  • 含有Nested类型字段的多元索引不支持索引预排序。

  • 创建多元索引后,如果要修改多元索引的IndexSort,您可以使用动态修改schema功能实现。具体操作,请参见动态修改schema

查询时排序

只有EnableSortAndAgg设置为true的字段才能进行排序。

在每次查询时,可以指定排序方式,多元索引支持如下四种排序方式(Sorter)。您也可以使用多个Sorter,实现先按照某种方式排序,再按照另一种方式排序的需求。

ScoreSort

按照查询结果的相关性(BM25算法)分数进行排序,适用于有相关性的场景,例如全文检索等。

重要

如果需要按照相关性打分进行排序,必须手动设置ScoreSort,否则会按照索引设置的IndexSort进行排序。

searchQuery := search.NewSearchQuery()
searchQuery.SetSort(&search.Sort{
    []search.Sorter{
        &search.ScoreSort{
            Order: search.SortOrder_DESC.Enum(), //从得分高到低排序。
        },
    },
})

PrimaryKeySort

按照主键进行排序。

searchQuery := search.NewSearchQuery()
searchQuery.SetSort(&search.Sort{
    []search.Sorter{
        &search.PrimaryKeySort{
            Order: search.SortOrder_ASC.Enum(),
        },
    },
})

FieldSort

  • 单列排序

    按照某列的值进行排序。

    //设置按照Col_Long列逆序排序。
    searchQuery.SetSort(&search.Sort{
        []search.Sorter{
            &search.FieldSort{
                FieldName: "Col_Long",
                Order:     search.SortOrder_DESC.Enum(),
            },
        },
    })
  • 多列排序

    先按照某列的值进行排序,再按照另一列的值进行排序。

    searchQuery.SetSort(&search.Sort{
        []search.Sorter{
            &search.FieldSort{
                FieldName: "col1",
                Order:     search.SortOrder_ASC.Enum(),
            },
            &search.FieldSort{
                FieldName: "col2",
                Order:     search.SortOrder_DESC.Enum(),
            },
        },
    })

GeoDistanceSort

根据地理点距离进行排序。

searchQuery.SetSort(&search.Sort{
    []search.Sorter{
        &search.GeoDistanceSort{
            FieldName: "location",   //设置Geo点的字段名。
            Points:    []string{"40,-70"}, //设置中心点。
        },
    },
})

翻页方式

在获取返回结果时,可以使用LimitOffset或者使用Token进行翻页。

使用LimitOffset翻页

当需要获取的返回结果行数小于50000行时,可以通过LimitOffset进行翻页,即Limit+Offset<=50000,其中Limit的最大值为100。

说明

如果需要提高Limit的上限,请参见如何将多元索引Search接口查询数据的limit提高到1000

如果使用此方式进行翻页时未设置LimitOffset,则Limit的默认值为10,Offset的默认值为0。

searchQuery := search.NewSearchQuery()
searchQuery.SetLimit(10)
searchQuery.SetOffset(10) 

使用Token翻页

由于使用Token进行翻页时翻页深度无限制,当需要进行深度翻页时,推荐使用Token进行翻页。

当符合查询条件的数据未读取完时,服务端会返回NextToken,此时可以使用NextToken继续读取后面的数据。

使用Token进行翻页时默认只能向后翻页。由于在一次查询的翻页过程中Token长期有效,您可以通过缓存并使用之前的Token实现向前翻页。

重要

如果需要持久化NextToken或者传输NextToken给前端页面,您可以使用Base64编码将NextToken编码为String进行保存和传输。Token本身不是字符串,直接使用string(NextToken)Token编码为String会造成Token信息丢失。

使用Token翻页后的排序方式和上一次请求的一致,无论是系统默认使用IndexSort还是自定义排序,因此设置了Token不能再设置Sort。另外使用Token后不能设置Offset,只能依次往后读取,即无法跳页。

重要

由于含有Nested类型字段的多元索引不支持索引预排序,如果使用含有Nested类型字段的多元索引查询数据且需要翻页,则必须在查询条件中指定数据返回的排序方式,否则当符合查询条件的数据未读取完时,服务端不会返回NextToken。

/**
 * 使用Token进行翻页读取。
 * 如果SearchResponse返回了NextToken,可以使用此Token发起下一次查询,直到NextToken为空(nil)。
 * NextToken为空(nil)表示所有符合条件的数据已读完。
 */
func QueryRowsWithToken(client *tablestore.TableStoreClient, tableName string, indexName string) {
    querys := []search.Query{
        &search.MatchAllQuery{},
        &search.TermQuery{
            FieldName: "Col_Keyword",
            Term:      "tablestore",
        },
    }
    for _, query := range querys {
        fmt.Printf("Test query: %#v\n", query)
        searchRequest := &tablestore.SearchRequest{}
        searchRequest.SetTableName(tableName)
        searchRequest.SetIndexName(indexName)
        searchQuery := search.NewSearchQuery()
        searchQuery.SetQuery(query)
        searchQuery.SetLimit(10)
        searchQuery.SetGetTotalCount(true)
        searchRequest.SetSearchQuery(searchQuery)
        searchResponse, err := client.Search(searchRequest)
        if err != nil {
            fmt.Printf("%#v", err)
            return
        }
        rows := searchResponse.Rows
        requestCount := 1
        for searchResponse.NextToken != nil {           
            {  
	              // 如果需要持久化NextToken或者传输NextToken给前端页面,您可以使用Base64编码将NextToken编码为String进行保存和传输。
	              // Token本身不是字符串,直接使用string(NextToken)将Token编码为String会造成Token信息丢失。
	              tokenAsString := base64.StdEncoding.EncodeToString(searchResponse.NextToken)
	              // 将String解码为byte。
	              tokenAsByte, err := base64.StdEncoding.DecodeString(tokenAsString)
	              if err != nil {
		                fmt.Printf("len:%d, %#v",len(tokenAsByte), err)
		                return
	              }
            }
            searchQuery.SetToken(searchResponse.NextToken)
            searchResponse, err = client.Search(searchRequest)
            if err != nil {
                fmt.Printf("%#v", err)
                return
            }
            requestCount++
            for _, r := range searchResponse.Rows {
                rows = append(rows, r)
            }
        }
        fmt.Println("IsAllSuccess: ", searchResponse.IsAllSuccess)
        fmt.Println("TotalCount: ", searchResponse.TotalCount)
        fmt.Println("RowsSize: ", len(rows))
        fmt.Println("RequestCount: ", requestCount)
    }
}