全部产品
云市场

如何实现分页查询

更新时间:2019-07-23 18:10:36

限制条件

不同于传统关系型数据库支持的翻页查询,在NoSQL的数据模型和API上,实现分页功能有以下限制:

  • 不支持获取整个范围的行数,即无法计算总的页数。
  • 不建议使用设置offset来跳页,因为offset的过滤是在客户端进行,服务端扫描读出的数据是固定的。若offset设定过大,则可能导致本次查询时间过长。
  • 仅提供顺序翻页的功能,一页一页顺序往下翻。

示例代码

下面是一个实现分页读接口的示例代码,提供offset过滤以及读取指定页数的数据:

  1. /**
  2. * 范围查询指定范围内的数据,返回指定页数大小的数据,并能根据offset跳过部分行。
  3. */
  4. private static Pair<List<Row>, RowPrimaryKey> readByPage(OTSClient client, String tableName,
  5. RowPrimaryKey startKey, RowPrimaryKey endKey, int offset, int pageSize) {
  6. Preconditions.checkArgument(offset >= 0, "Offset should not be negative.");
  7. Preconditions.checkArgument(pageSize > 0, "Page size should be greater than 0.");
  8. List<Row> rows = new ArrayList<Row>(pageSize);
  9. int limit = pageSize;
  10. int skip = offset;
  11. RowPrimaryKey nextStart = startKey;
  12. // 若查询的数据量很大,则一次请求有可能不会返回所有的数据,需要流式查询所有需要的数据。
  13. while (limit > 0 && nextStart != null) {
  14. // 构造GetRange的查询参数。
  15. // 注意:startPrimaryKey需要设置为上一次读到的位点,从上一次未读完的地方继续往下读,实现流式的范围查询。
  16. RangeRowQueryCriteria criteria = new RangeRowQueryCriteria(tableName);
  17. criteria.setInclusiveStartPrimaryKey(nextStart);
  18. criteria.setExclusiveEndPrimaryKey(endKey);
  19. // 需要设置正确的limit,这里期望读出的数据行数最多为完整的一页数据以及需要过滤(offset)的数据
  20. criteria.setLimit(skip + limit);
  21. GetRangeRequest request = new GetRangeRequest();
  22. request.setRangeRowQueryCriteria(criteria);
  23. GetRangeResult response = client.getRange(request);
  24. for (Row row : response.getRows()) {
  25. if (skip > 0) {
  26. skip--; // 对于offset之前的数据,需要过滤掉,采用的策略是读出来后在客户端进行过滤。
  27. } else {
  28. rows.add(row);
  29. limit--;
  30. }
  31. }
  32. // 设置下一次查询的起始位点
  33. nextStart = response.getNextStartPrimaryKey();
  34. }
  35. return new Pair<List<Row>, RowPrimaryKey>(rows, nextStart);
  36. }

下面是使用以上接口,顺序地一页一页读取某个指定范围内的所有数据的例子:

  1. private static void readByPage(OTSClient client, String tableName) {
  2. int pageSize = 8;
  3. int offset = 33;
  4. RowPrimaryKey startKey = new RowPrimaryKey();
  5. startKey.addPrimaryKeyColumn(COLUMN_GID_NAME, PrimaryKeyValue.INF_MIN);
  6. startKey.addPrimaryKeyColumn(COLUMN_UID_NAME, PrimaryKeyValue.INF_MIN);
  7. RowPrimaryKey endKey = new RowPrimaryKey();
  8. endKey.addPrimaryKeyColumn(COLUMN_GID_NAME, PrimaryKeyValue.INF_MAX);
  9. endKey.addPrimaryKeyColumn(COLUMN_UID_NAME, PrimaryKeyValue.INF_MAX);
  10. // 读第一页,从范围的offset=33的行开始读起
  11. Pair<List<Row>, RowPrimaryKey> result = readByPage(client, tableName, startKey, endKey, offset, pageSize);
  12. for (Row row : result.getKey()) {
  13. System.out.println(row.getColumns());
  14. }
  15. System.out.println("Total rows count: " + result.getKey().size());
  16. // 顺序翻页,读完范围内的所有数据
  17. startKey = result.getValue();
  18. while (startKey != null) {
  19. System.out.println("============= start read next page ==============");
  20. result = readByPage(client, tableName, startKey, endKey, 0, pageSize);
  21. for (Row row : result.getKey()) {
  22. System.out.println(row.getColumns());
  23. }
  24. startKey = result.getValue();
  25. System.out.println("Total rows count: " + result.getKey().size());
  26. }
  27. }