访问MaxCompute数据源

批处理方式读写MaxCompute数据

步骤一：提交Spark配置

1. 登录云原生数据仓库AnalyticDB MySQL控制台。

2. 在页面左上角，选择集群所在地域。

3. 在左侧导航栏，单击集群列表。

4. 在湖仓版（3.0）页签下，单击目标集群ID。

5. 在左侧导航栏，单击作业开发 > SQL开发。

6. 在SQLConsole窗口，选择Spark引擎和Job型资源组。

7. 在SQLConsole窗口，按照SET Key=Value;的形式输入以下配置。

   SET spark.sql.catalog.odps = org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog;
   SET spark.hadoop.odps.access.id = LTAI5tMnzDS5EyqqMsT****;
   SET spark.hadoop.odps.access.key = A2kHFzEgFidOKrDKqAbJIPt8****;
   SET spark.hadoop.odps.endpoint = http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api;
   SET spark.hadoop.odps.project = spark_on_maxcompute;
   SET spark.adb.connectors = odps;

   参数名称	取值说明
   spark.sql.catalog.<catalog_name>	Spark SQL支持的配置数据源的方式。 参数取值固定为org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog。 说明 参数名称中的catalog_name可自定义，本文示例为odps。
   spark.hadoop.odps.access.id	阿里云账号或者具备MaxCompute访问权限的RAM用户的AccessKey ID。 如何获取AccessKey ID，请参见获取AccessKey信息。
   spark.hadoop.odps.access.key	阿里云账号或者具备MaxCompute访问权限的RAM用户的AccessKey Secret。 如何获取AccessKey Secret，请参见获取AccessKey信息。
   spark.hadoop.odps.endpoint	MaxCompute所在地域对应VPC网络的Endpoint。 查询各地域VPC网络的Endpoint，请参见各地域Endpoint对照表（阿里云VPC网络连接方式）。
   spark.hadoop.odps.project	MaxCompute的项目空间名称。
   spark.adb.connectors	Spark作业连接的数据源，固定为odps。

8. 在弹窗中，选择继续执行。

步骤二：使用Spark SQL读写MaxCompute数据

1. 输入以下语句，单击执行SQL（F8），并在弹窗中，单击继续执行。创建MaxCompute表。

   CREATE TABLE odps.spark_on_maxcompute.spark_test(k1 int, k2 string) 
   partitioned by (part int);

   重要

   本示例中表名odps.spark_on_maxcompute.spark_test以三层Catalog形式命名。

   • 第一层为Catalog_name，需要与参数spark.sql.catalog.<catalog_name>中的Catalog_name一致，本文示例为odps。

   • 第二层为MaxCompute项目空间名称。

   • 第三层为MaxCompute表名称。

   Spark SQL也支持使用两层Catalog形式命名<maxcompute_project_name>.<table_name>，需要在执行建表语句前，先执行USE <catalog_name>;。您还可以继续执行USE <maxcompute_project_name>;，建表时只写表名。

2. 输入以下语句，单击执行SQL（F8），并在弹窗中，单击继续执行。向表中写入数据。

   INSERT INTO odps.spark_on_maxcompute.spark_test 
   values (1, 'aaa', 101), (2, 'bbb', 102);

3. 输入以下语句，单击执行SQL（F8），并在弹窗中，单击继续执行。查询MaxCompute表数据。

   SELECT * FROM odps.spark_on_maxcompute.spark_test;

   说明

   您可以在DataWorks控制台查询对应的MaxCompute项目空间，确认在项目空间中表是否已经创建并且写入数据。

交互式执行方式读写MaxCompute数据

步骤一：提交Spark配置

1. 登录云原生数据仓库AnalyticDB MySQL控制台。

2. 在页面左上角，选择集群所在地域。

3. 在左侧导航栏，单击集群列表。

4. 在湖仓版（3.0）页签下，单击目标集群ID。

5. 在左侧导航栏，单击集群管理 > 资源组管理。

6. 在资源组列表中，单击目标Job型资源组操作列的高级配置。

7. 单击其他配置后的，填写以下参数。

   参数名称	取值说明
   spark.sql.catalog.<catalog_name>	Spark SQL支持的配置数据源的方式。 参数取值固定为org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog。 说明 参数名称中的catalog_name可自定义，本文示例为odps。
   spark.hadoop.odps.access.id	阿里云账号或者具备MaxCompute访问权限的RAM用户的AccessKey ID。 如何获取AccessKey ID，请参见获取AccessKey信息。
   spark.hadoop.odps.access.key	阿里云账号或者具备MaxCompute访问权限的RAM用户的AccessKey Secret。 如何获取AccessKey Secret，请参见获取AccessKey信息。
   spark.hadoop.odps.endpoint	MaxCompute所在地域对应VPC网络的Endpoint。 查询各地域VPC网络的Endpoint，请参见各地域Endpoint对照表（阿里云VPC网络连接方式）。
   spark.hadoop.odps.project	MaxCompute的项目空间名称。
   spark.adb.connectors	Spark作业连接的数据源，固定为odps。

8. 单击启动。当高级配置（Spark ThriftServer配置）页面显示运行中，则配置生效。

步骤二：使用Spark SQL读写MaxCompute数据

1. 在左侧导航栏，单击作业开发 > SQL开发。

2. 在SQLConsole窗口，选择Spark引擎和Job型资源组。

3. 输入以下语句，单击执行SQL（F8），创建MaxCompute表。

   CREATE TABLE odps.spark_on_maxcompute.spark_test(k1 int, k2 string) 
   partitioned by (part int);

   重要

   本示例中表名odps.spark_on_maxcompute.spark_test以三层Catalog形式命名。

   • 第一层为Catalog_name，需要与参数spark.sql.catalog.<catalog_name>中的Catalog_name一致，本文示例为odps。

   • 第二层为MaxCompute项目空间名称。

   • 第三层为MaxCompute表名称。

   Spark SQL也支持使用两层Catalog形式命名<maxcompute_project_name>.<table_name>，需要在执行建表语句前，先执行USE <catalog_name>;。您还可以继续执行USE <maxcompute_project_name>;，建表时只写表名。

4. 输入以下语句，单击执行SQL（F8），向表中写入数据。

   INSERT INTO odps.spark_on_maxcompute.spark_test 
   values (1, 'aaa', 101), (2, 'bbb', 102);

5. 输入以下语句，单击执行SQL（F8），查询MaxCompute表数据。

   SELECT * FROM odps.spark_on_maxcompute.spark_test;

   说明

   您可以在DataWorks控制台查询对应的MaxCompute项目空间，确认在项目空间中表是否已经创建并且写入数据。

支持的库表操作

• SHOW DATABASES

• AHOW TABLES

• CREATE TABLE

• DROP TABLE

• SELECT

• INSERT INTO

• INSERT INTO PARTITION

支持的字段类型

• BOOLEAN

• DOUBLE

• INT

• BIGINT

• STRING

• DECIMAL

• DATA

• TIMESTAMP

• FLOAT

• SMALLINT

• TINYINT

• BINARY

• ARRAY

• MAP

• STRUCT

支持的分区字段类型

• INT

• BIGINT

• STRING

• TINYINT

• SMALLINT