查询加速（MCQA2.0）beta版本

MaxCompute MCQA2.0功能提供如下能力：

• 支持对中小数据量（百GB规模内）查询作业、数据插入作业进行加速优化，最快执行时间为亚秒级。

• 完全兼容MaxCompute的SQL功能，包括UDF、Delta Table、增量物化视图特性等。

• 支持隔离的查询加速资源池，独享服务于本租户，稳定性更高。

• 支持自定义查询加速资源池和批处理资源池的分时资源分配规则，提高资源整体利用率。

• 支持全链路Cache，作业会自动将多个环节的执行结果写入临时缓存，后续执行的作业在全链路的多个环节都可能命中Cache，加快执行速度。

使用MCQA2.0功能进行DataWorksIDE临时查询或数据开发

在DataWorks数据开发（新版）页面新建MaxCompute SQL节点后，在右侧的调试配置面板中可以选择计算配额，选择交互式配额组以后，数据开发（新版）页面执行的作业将会被调度到交互式配额组执行。如果返回结果的InstanceId带有_mcqa的后缀，则代表成功运行到了MCQA2.0模式。

使用MCQA2.0功能进行MaxCompute控制台TopConsolo-SQL分析

MaxCompute控制台SQL分析页面右侧的运行参数可以选择计算配额，选择交互式配额组以后，SQL分析页面执行的作业将会被调度到交互式配额组执行。如果返回结果的InstanceId带有_mcqa的后缀，则代表成功运行到了MCQA2.0模式。

通过JDBC使用MCQA2.0功能

您可以通过以下操作开启MCQA2.0功能，并使用JDBC连接MaxCompute，详情请参见使用说明。

1. 下载支持MCQA2.0功能的JDBC JAR包或可编译的源代码。

2. 通过Maven方式配置Pom依赖。

   说明

   此处以3.8.0-rc0版本为例配置Pom依赖，您可根据实际自行选择3.8.0-rc0或以上版本，推荐使用最新版本。

   <dependency>
       <groupId>com.aliyun.odps</groupId>
       <artifactId>odps-jdbc</artifactId>
       <version>3.8.0-rc0</version>
   </dependency>

3. 基于源代码创建Java程序，适配实际信息，详情请参见MaxCompute JDBC，示例如下。

   // 阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维，请登录RAM控制台创建RAM用户
   // 此处以把AccessKey 和 AccessKeySecret 保存在环境变量为例说明。您也可以根据业务需要，保存到配置文件里
   // 强烈建议不要把 AccessKey 和 AccessKeySecret 保存到代码里，会存在密钥泄漏风险
   private static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
   private static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
   //your_project_name为需要使用MCQA功能的项目名称。
   //your_quota_nick_name为期望使用的交互式Quota组的名字
   String conn = "jdbc:odps:http://service.<regionid>.maxcompute.aliyun.com/api?project=<YOUR_PROJECT_NAME>"&accessId&accessKey&charset=UTF-8&interactiveMode=true&quotaName=<your_quota_nick_name>&autoSelectLimit=1000000000";
   Statement stmt = conn.createStatement();
   Connection conn = DriverManager.getConnection(conn, accessId, accessKey);
   Statement stmt = conn.createStatement();
   String tableName = "testOdpsDriverTable";
   stmt.execute("DROP TABLE IF EXISTS " + tableName);
   stmt.execute("CREATE TABLE " + tableName + " (key int, value string)");

   您也可以在连接串中配置如下参数，完善处理逻辑。

   参数	说明
   enableOdpsLogger	用于打印日志。未配置SLF4J时，建议您将此参数配置为True。

使用示例

以下为您展示在Tableau和SQLWorkbench中使用MCQA2.0时的服务器配置方法。

• 示例1：Tableau使用MCQA2.0

  服务器增加interactiveMode=true和quotaName=your_quota_nick_name属性，用于开启MCQA2.0功能。建议您同步增加enableOdpsLogger=true属性，用于打印日志。配置操作详情请参见配置JDBC使用Tableau。

  完整的服务器配置示例如下。

  // <your_quota_nick_name>为期望使用的交互式Quota组的名字
  http://service.cn-beijing.maxcompute.aliyun.com/api?
  project=****_beijing&interactiveMode=true&quotaName=<your_quota_nick_name>&enableOdpsLogger=true&autoSelectLimit=1000000000"

  如果只对项目空间中的部分表进行Tableau操作，您可以在服务器参数中增加table_list=table_name1, table_name2属性选择需要的表，多表之间用半角逗号（,）分隔。如果表过多，会导致Tableau打开缓慢，强烈建议使用此方式只载入需要的表。

  示例如下，对于有大量分区的表不建议将所有分区的数据都设置成数据源，可以筛选需要的分区或通过自定义SQL获取需要的数据。

  //your_quota_nick_name为期望使用的交互式 Quota 组的名字
  http://service.cn-beijing.maxcompute.aliyun.com/api?project=****_beijing
  &interactiveMode=true&alwaysFallback=true&quotaName=<YOUR_QUOTA_NICK_NAME>&enableOdpsLogger=true&autoSelectLimit=1000000000"
  &table_list=orders,customers

• 示例2：SQLWorkBench使用MCQA2.0

  完成JDBC驱动配置后，在Profile配置界面修改已填写的JDBC URL，支持SQLWorkbench使用MCQA2.0功能。Profile配置操作详情请参见配置JDBC使用SQL Workbench/J。

  需要配置的URL格式如下所示：

  //your_quota_nick_name为期望使用的交互式 Quota 组的名字
  jdbc:odps:<MaxCompute_endpoint>?
  project=<MaxCompute_project_name>&accessId=<AccessKey ID>&accessKey=<AccessKey Secret>
  &charset=UTF-8&interactiveMode=true&quotaName=<YOUR_QUOTA_NICK_NAME>&autoSelectLimit=1000000000"

  参数说明如下。

  参数	说明
  MaxCompute_endpoint	MaxCompute服务所在区域的Endpoint，详情请参见Endpoint。
  MaxCompute_project_name	MaxCompute项目空间名称。
  AccessKey ID	有访问指定项目空间权限的AccessKey ID。 您可以进入AccessKey管理页面获取AccessKey ID。
  AccessKey Secret	AccessKey ID对应的AccessKey Secret。 您可以进入AccessKey管理页面获取AccessKey Secret。
  your_quota_nick_name	期望使用的交互式Quota组的名称。
  charset=UTF-8	字符集编码格式。
  interactiveMode	MCQA2.0功能开关，true表示开启MCQA功能。
  quotaName	期望使用的交互式 Quota 组名字
  autoSelectLimit	数据量超过100万限制时，需要配置此参数。

基于Java SDK启用MCQA2.0功能

Java SDK详情请参见Java SDK介绍。您需要通过Maven配置Pom依赖，配置示例如下。

<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-core</artifactId>
    <version>0.50.0-rc1</version>
</dependency>

创建Java程序，命令示例如下。

import ...;

public class SQLExecutorExample {

  public static void main(String args[]) {
    // 设置账号和项目信息。
    // 阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维，请登录RAM控制台创建RAM用户
    // 此处以把AccessKey 和 AccessKeySecret 保存在环境变量为例说明。您也可以根据业务需要，保存到配置文件里
    // 强烈建议不要把 AccessKey 和 AccessKeySecret 保存到代码里，会存在密钥泄漏风险
    Account
        account =
        new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
                          System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
    Odps odps = new Odps(account);
    odps.setDefaultProject("<YOUR_PROJECT_NAME>");
    odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

    // 准备构建SQLExecutor。
    SQLExecutorBuilder builder = SQLExecutorBuilder.builder();

    SQLExecutor sqlExecutor = null;
    try {
      // 创建一个默认使用 MCQA2.0 模式的Executor。
      sqlExecutor = builder.odps(odps)
          .executeMode(ExecuteMode.INTERACTIVE)
          .quotaName("<YOUR_INTERACTIVE_QUOTA_NICKNAME>")
          .enableMcqaV2(true)
          .build();

      // 如果需要的话可以传入查询的特殊设置。
      Map<String, String> queryHint = new HashMap<>();
      queryHint.put("odps.sql.mapper.split.size", "128");
      // 提交一个查询作业，支持传入Hint。
      sqlExecutor.run("select count(1) from test_table;", queryHint);
      
      // 当前查询作业的logview。
      System.out.println("Logview:" + sqlExecutor.getLogView());
      // 当前查询作业的InstanceId
      System.out.println("InstanceId:" + sqlExecutor.getQueryId());
      
      ResultSet resultSet = sqlExecutor.getResultSet();
      while (resultSet.hasNext()) {
        System.out.println(resultSet.next());
      }
      // run another query
      sqlExecutor.run("select * from test_table;", new HashMap<>());

      // 获取查询结果的迭代器ResultSet，同步接口，可能会占用本线程直到查询成功或失败。
      // 获取大量结果数据时推荐使用，分次读取查询结果。
      ResultSet resultSet = sqlExecutor.getResultSet();
      while (resultSet.hasNext()) {
        System.out.println(resultSet.next());
      }

    } catch (OdpsException | IOException e) {
      e.printStackTrace();
    } finally {
      if (sqlExecutor != null) {
        // 关闭Executor释放相关资源。
        sqlExecutor.close();
      }
    }
  }
}