scroll查询Demo

scroll用法及场景

由于search的方法不能召回超过5000个结果，因此可以使用scroll方法，导出全部数据。

注意：

• scroll仅支持导出所有数据，不支持Aggregate,Distinct,Rank子句。

• scroll方法中的config子句start参数不起作用，默认为0. 即不支持跳页。hits限制为[0,500]。

• 第一次执行时不返回文档数据，只返回scroll_id值，第二次调用查询时设置scroll_id，即返回数据。

搜索报错判断：用户需按code和message，进行异常情况判断，不要按status进行判断。code对应的错误信息查看——错误码文档。

SDK样例Demo:

package com.aliyun.opensearch;

import com.aliyun.opensearch.OpenSearchClient;
import com.aliyun.opensearch.SearcherClient;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.dependencies.org.json.JSONObject;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchClientException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchException;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.sdk.generated.search.general.SearchResult;
import com.aliyun.opensearch.search.SearchParamsBuilder;

import java.nio.charset.Charset;

public class testScroll {

    //受引擎性能影响，Scroll不支持Aggregate,Distinct,Rank子句，支持单字段sort子句
    private static String appName = "替换为opensearch应用名";
    private static String host = "替换应用的API访问地址";

    public static void main(String[] args) {
				//用户识别信息
    		//从环境变量读取配置的AccessKey ID和AccessKey Secret，运行代码示例前必须先配置环境变量
      	String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
        //查看文件和默认编码格式
        System.out.println(String.format("file.encoding: %s", System.getProperty("file.encoding")));
        System.out.println(String.format("defaultCharset: %s", Charset.defaultCharset().name()));


        //创建并构造OpenSearch对象
        OpenSearch openSearch = new OpenSearch(accesskey, secret, host);

        //创建OpenSearchClient对象，并以OpenSearch对象作为构造参数
        OpenSearchClient serviceClient = new OpenSearchClient(openSearch);

        //创建SearcherClient对象，并以OpenSearchClient对象作为构造参数
        SearcherClient searcherClient = new SearcherClient(serviceClient);

        //定义Config对象，用于设定config子句参数，分页，数据返回格式，应用名等等
        Config config = new Config(Lists.newArrayList(appName));

        //config.setStart(start) scroll该参数不起作用，默认为0
        config.setHits(5);//设置每页为5条记录

        //设置返回格式为FULLJSON,目前scroll只支持返回JSON和FULLJSON格式
        config.setSearchFormat(SearchFormat.FULLJSON);

        // 设置搜索结果返回应用中哪些字段
        config.setFetchFields(Lists.newArrayList("id", "name", "phone", "int_arr", "literal_arr", "float_arr", "cate_id"));
        // 注意：config子句中的rerank_size参数，在Rank类对象中设置

        // 创建参数对象
        SearchParams searchParams = new SearchParams(config);

        // 设置查询子句，若需多个索引组合查询，需要setQuery处合并，否则若设置多个setQuery后面的会替换前面查询
        searchParams.setQuery("name:'opensearch'");

        // 设置查询过滤条件
        //searchParams.setFilter("cate_id<=3"); //此处也可改用后面的ParamsBuilder实现添加过滤条件

        //设置scroll方式查询
        DeepPaging deep =new DeepPaging();
        //不设置默认为1m表示1分钟，该参数表示本次返回的scrollid的有效期
        deep.setScrollExpire("3m");

        //添加DeepPaging对象参数
        searchParams.setDeepPaging(deep);

        // SearchParams的工具类，提供了更为便捷的操作
        SearchParamsBuilder paramsBuilder = SearchParamsBuilder.create(searchParams);

        // 设置查询过滤条件
//        paramsBuilder.addFilter("cate_id<=0", "AND");

        // 执行返回查询结果。用户需按code和message，进行异常情况判断，不要按status进行判断。code对应的错误信息查看——错误码文档。
        SearchResult searchResult;
        try {
            searchResult = searcherClient.execute(paramsBuilder);
            String result = searchResult.getResult();
            JSONObject obj = new JSONObject(result);

            // 假设数据库中只有25条，且每页展示5条，则第6次打印出来items数据为空
            for(int i=1;i<=6;i++){

                //第一次执行不返回数据，主要返回scroll_id值，第二次调用查询时设置scroll_id
                deep.setScrollId(new JSONObject(obj.get("result").toString()).get("scroll_id").toString());
                deep.setScrollExpire("3m");//不设置默认为1m表示1分钟，如不想使用默认值，每次重新调用前必须要重新设置下
                searchResult = searcherClient.execute(paramsBuilder);
                result = searchResult.getResult();
                obj = new JSONObject(result);

                // 输出查询结果
                System.out.println("第"+i+"次执行:"+obj.get("result"));
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }//休眠1秒，防止qps请求过高报错
            }


        } catch (OpenSearchException e) {
            e.printStackTrace();
        } catch (OpenSearchClientException e) {
            e.printStackTrace();
        }

    }
}