Commit推送Demo

配置环境变量

配置环境变量ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET

重要
  • 阿里云账号AccessKey拥有所有API的访问权限,建议您使用RAM用户进行API访问或日常运维,具体操作,请参见创建RAM用户

  • 创建AccessKey ID和AccessKey Secret,请参考创建AccessKey

  • 如果您使用的是RAM用户的AccessKey,请确保主账号已授权AliyunServiceRoleForOpenSearch服务关联角色,请参考OpenSearch-行业算法版服务关联角色,相关文档参考访问鉴权规则

  • 请不要将AccessKey ID和AccessKey Secret保存到工程代码里,否则可能导致AccessKey泄露,威胁您账号下所有资源的安全。

  • LinuxmacOS系统配置方法:

    执行以下命令,其中, <access_key_id>需替换为您RAM用户的AccessKey ID,<access_key_secret>替换为您RAM用户的AccessKey Secret。

    export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id> 
    export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>
  • Windows系统配置方法

    1. 新建环境变量文件,添加环境变量ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET,并写入已准备好的AccessKey ID和AccessKey Secret。

    2. 重启Windows系统生效。

V3.1 SDK Commit方式新增文档样例代码

Commit 提交数据方式,主要是在程序中动态将对应的文档数据封装到Map对象中,再将这些Map对象通过add方法添加到缓存中,最后调用Commit方法,批量提交这些Map对象文档数据。

适用场景

  • 动态拼接数据提交场景

  • 单个文档提交场景

  • 小批量性文档提交场景

package com.aliyun.opensearch;

import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Maps;
import com.aliyun.opensearch.sdk.dependencies.org.json.JSONObject;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchClientException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchResult;
import com.aliyun.opensearch.sdk.generated.search.Config;
import com.aliyun.opensearch.sdk.generated.search.SearchFormat;
import com.aliyun.opensearch.sdk.generated.search.SearchParams;
import com.aliyun.opensearch.sdk.generated.search.general.SearchResult;
import java.io.UnsupportedEncodingException;
import java.nio.charset.Charset;
import java.util.Map;
import java.util.Random;

public class testCommitSearch {

  private static String appName = "替换为opensearch应用名";
  private static String tableName = "替换opensearch应用表名";
  private static String host = "替换应用的API访问地址";

  public static void main(String[] args) {
    //用户识别信息
    //从环境变量读取配置的AccessKey ID和AccessKey Secret,
    //运行代码示例前必须先配置环境变量,参考文档上面“配置环境变量”步骤
    String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
    String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

    //查看文件和默认编码格式
    System.out.println(
      String.format("file.encoding: %s", System.getProperty("file.encoding"))
    );
    System.out.println(
      String.format("defaultCharset: %s", Charset.defaultCharset().name())
    );

    //生成随机数,作为主键值
    Random rand = new Random();
    int value = rand.nextInt(Integer.MAX_VALUE);

    //定义Map对象存储上传数据doc1
    Map<String, Object> doc1 = Maps.newLinkedHashMap();
    doc1.put("id", value);

    String title_string = "Commit方式新增文档1"; // utf-8
    byte[] bytes;
    try {
      bytes = title_string.getBytes("utf-8");
      String utf8_string = new String(bytes, "utf-8");
      doc1.put("name", utf8_string);
    } catch (UnsupportedEncodingException e) {
      e.printStackTrace();
    }

    doc1.put("phone", "1381111****");

    int[] int_arr = { 33, 44 };
    doc1.put("int_arr", int_arr);

    String[] literal_arr = {
      "Commit方式新增文档1",
      "测试Commit方式新增文档1]",
    };
    doc1.put("literal_arr", literal_arr);

    float[] float_arr = { (float) 1.1, (float) 1.2 };
    doc1.put("float_arr", float_arr);

    doc1.put("cate_id", 1);

    //创建并构造OpenSearch对象
    OpenSearch openSearch1 = new OpenSearch(accesskey, secret, host);

    //创建OpenSearchClient对象,并以OpenSearch对象作为构造参数
    OpenSearchClient serviceClient1 = new OpenSearchClient(openSearch1);

    //定义DocumentClient对象添加数据并提交
    DocumentClient documentClient1 = new DocumentClient(serviceClient1);

    // 把doc1加入缓存,并设为新增文档
    documentClient1.add(doc1);

    //文档输出
    System.out.println(doc1.toString());

    try {
      //执行提交新增操作,此处用于测试故单个提交延迟10s查看操作信息,也可在后面一次性提交执行操作
      OpenSearchResult osr = documentClient1.commit(appName, tableName);

      //判断数据是否推送成功,主要通过判断2处,第一处判断用户方推送是否成功,第二处是应用控制台中有无报错日志
      //用户方推送成功后,也有可能在应用端执行失败,此错误会直接在应用控制台错误日志中生成,比如字段内容转换失败
      if (osr.getResult().equalsIgnoreCase("true")) {
        System.out.println(
          "用户方推送无报错!\n以下为getTraceInfo推送请求Id:" +
          osr.getTraceInfo().getRequestId()
        );
      } else {
        System.out.println("用户方推送报错!" + osr.getTraceInfo());
      }
    } catch (OpenSearchException e) {
      e.printStackTrace();
    } catch (OpenSearchClientException e) {
      e.printStackTrace();
    }

    try {
      Thread.sleep(10000); //休眠10秒,可在控制台查看新增的数据
    } catch (InterruptedException e) {
      e.printStackTrace();
    }

    //定义Map对象doc2,并更新doc1,更新采用update,update需要在主键值已存在的情况下才可以使用
    Map<String, Object> doc2 = Maps.newLinkedHashMap();
    doc2.put("id", value);

    String title_string2 = "Commit方式更新文档1"; // utf-8
    byte[] bytes2;
    try {
      bytes2 = title_string2.getBytes("utf-8");
      String utf8_string2 = new String(bytes2, "utf-8");
      doc2.put("name", utf8_string2);
    } catch (UnsupportedEncodingException e) {
      e.printStackTrace();
    }

    doc2.put("phone", "1390000****");

    int[] int_arr2 = { 22, 22 };
    doc2.put("int_arr", int_arr2);

    String[] literal_arr2 = { "Commit方式更新文档1", "Commit方式更新文档1" };
    doc2.put("literal_arr", literal_arr2);

    float[] float_arr2 = { (float) 1.1, (float) 1.2 };
    doc2.put("float_arr", float_arr2);

    doc2.put("cate_id", 1);

    // 把doc2加入缓存,因为此数据主键已存在,因此update可正常执行
    documentClient1.update(doc2);

    //文档输出
    System.out.println(doc2.toString());
    try {
      // 执行更新并提交,此处用于测试故单个提交延迟10s查看操作信息,也可在后面一次性提交执行操作
      OpenSearchResult osr = documentClient1.commit(appName, tableName);

      //判断数据是否推送成功,主要通过判断2处,第一处判断用户方推送是否成功,第二处是应用控制台中有无报错日志
      //用户方推送成功后,也有可能在应用端执行失败,此错误会直接在应用控制台错误日志中生成,比如字段内容转换失败
      if (osr.getResult().equalsIgnoreCase("true")) {
        System.out.println(
          "用户方推送无报错!\n以下为getTraceInfo推送请求Id:" +
          osr.getTraceInfo().getRequestId()
        );
      } else {
        System.out.println("用户方推送报错!" + osr.getTraceInfo());
      }
    } catch (OpenSearchException e) {
      e.printStackTrace();
    } catch (OpenSearchClientException e) {
      e.printStackTrace();
    }

    try {
      Thread.sleep(10000); //休眠10秒,可在控制台查看更新的数据
    } catch (InterruptedException e) {
      e.printStackTrace();
    }

    // 定义Map对象doc3,删除文档只需指定需删除文档主键值即可
    Map<String, Object> doc3 = Maps.newLinkedHashMap();
    doc3.put("id", value);

    // 把doc3加入缓存,此处做删除文档处理
    documentClient1.remove(doc3);
    //文档输出
    System.out.println(doc3.toString());

    try {
      // 执行删除并提交,此处用于测试故单个提交延迟10s查看操作信息,也可在后面一次性提交执行操作
      OpenSearchResult osr = documentClient1.commit(appName, tableName);

      //判断数据是否推送成功,主要通过判断2处,第一处判断用户方推送是否成功,第二处是应用控制台中有无报错日志
      //用户方推送成功后,也有可能在应用端执行失败,此错误会直接在应用控制台错误日志中生成,比如字段内容转换失败
      if (osr.getResult().equalsIgnoreCase("true")) {
        System.out.println(
          "用户方推送无报错!\n以下为getTraceInfo推送请求Id:" +
          osr.getTraceInfo().getRequestId()
        );
      } else {
        System.out.println("用户方推送报错!" + osr.getTraceInfo());
      }
    } catch (OpenSearchException e) {
      e.printStackTrace();
    } catch (OpenSearchClientException e) {
      e.printStackTrace();
    }

    try {
      Thread.sleep(10000); //休眠10秒后,再查看删除后的数据,如果此处不休眠而是立刻查询可能会因为数据没有及时删除而查出存在的数据,至少休眠1秒
    } catch (InterruptedException e) {
      e.printStackTrace();
    }

    //创建并构造OpenSearch对象
    OpenSearch openSearch2 = new OpenSearch(accesskey, secret, host);

    //创建OpenSearchClient对象,并以OpenSearch对象作为构造参数
    OpenSearchClient serviceClient2 = new OpenSearchClient(openSearch2);

    //创建SearcherClient对象,并以OpenSearchClient对象作为构造参数
    SearcherClient searcherClient2 = new SearcherClient(serviceClient2);

    //创建Config对象,用于设定config子句参数,分页或数据返回格式等等
    Config config = new Config(Lists.newArrayList(appName));
    config.setStart(0);
    config.setHits(30);
    //设置返回格式为json,目前只支持返回xml和json格式,暂不支持返回fulljson类型
    config.setSearchFormat(SearchFormat.JSON);

    SearchParams searchParams = new SearchParams(config);
    searchParams.setQuery("id:'" + value + "'");
    //// 执行返回查询结果
    SearchResult searchResult;
    try {
      searchResult = searcherClient2.execute(searchParams);
      String result = searchResult.getResult();
      JSONObject obj = new JSONObject(result);

      // 输出查询结果
      System.out.println("查询调试输出:" + obj.toString());
    } catch (OpenSearchException e) {
      e.printStackTrace();
    } catch (OpenSearchClientException e) {
      e.printStackTrace();
    }
  }
}

重要

推送数据的时候,只能包含同表的字段,不能跨表推送。