XIHE BSP SQL开发

前提条件

• 已在湖仓版（3.0）集群中创建Job型资源组。具体操作，请参见新建资源组。

• 已创建湖仓版（3.0）集群的数据库账号。

  • 如果是通过阿里云账号访问，只需创建高权限账号。具体操作，请参见创建高权限账号。

  • 如果是通过RAM用户访问，需要创建高权限账号和普通账号并且将RAM用户绑定到普通账号上。具体操作，请参见创建数据库账号和绑定或解绑RAM用户与数据库账号。

应用场景

XIHE BSP SQL作业由XIHE BSP引擎执行，适用于ETL场景、大查询、突发低优先级查询。关于XIHE BSP引擎的更多内容，请参见计算引擎。

ETL场景

典型的ETL流程如下图。

从数据源到ADS层的数据清洗、数据转换等操作通常数据量较大，耗时较长。一般不需要关心具体查询的响应时间，只要整体ELT流程能够在特定时间点前完成，对可靠性要求更高，需要支持自动重试等能力。这部分查询可以使用XIHE BSP方式执行，充分利用XIHE BSP吞吐量大、可靠性更高、成本更低的优势。

对于ADS层的查询，通常对查询响应时间更加敏感，常要求秒级甚至毫秒级的响应，这部分查询可以使用XIHE MPP方式执行，以充分利用XIHE MPP引擎速度更快的优势。

XIHE MPP方式无法执行的大查询

由于XIHE MPP执行方式的限制，部分数据量较大的查询可能出现内存报错、查询异常等情况。如果仍要在XIHE MPP方式下执行，需要进行扩容等操作来增加更多的资源，从成本来看并不经济。此时可尝试使用XIHE BSP方式执行，查询会在指定的Job型资源组中执行数据落盘，对于大查询更加友好，且Job型资源组的资源按需申请、按需付费，成本也会更低。

突发的低优先级查询

低优先级查询通常对响应时间不敏感，但由于其突发性，系统资源可能不足，可能影响其他查询的正常执行。此时可尝试将这些低优先级查询放入Job型资源组以XIHE BSP方式执行，缓解系统的资源压力，防止查询之间的互相影响。

使用限制

• 不支持通过XIHE BSP方式写Hudi表。

• 不支持通过XIHE BSP方式读写Delta表。

开发XIHE BSP作业

您可以采用以下任意一种方式开发XIHE BSP作业。

/*+ resource_group=<resource_group_name>*/ <SQL Statement>;

/*+ resource_group=bsptest*/SELECT count(*) from test_db.ods_hudi;

/*+ resource_group=<resource_group_name>, query_submission_type=async*/ <SQL Statement>;

/*+ resource_group=bsptest, query_submission_type=async*/SELECT count(*) from test_db.ods_hudi;

配置XIHE BSP作业

您可以设置一个XIHE BSP作业可以使用的资源、默认超时时间和优先级。

配置方法

BSP作业的配置，可以仅对单个作业生效，可以对单个Job型资源组执行的所有作业生效，也可以对集群所有的作业生效。

/*+ resource_group=bsptest,elastic_job_max_acu=20*/SELECT count(*) from test_db.ods_hudi;

SET adb_config bsptest.elastic_job_max_acu=20;

SET adb_config elastic_job_max_acu=20;

配置项列表

XIHE BSP作业支持的配置项如下。

常见问题

如何查看BSP作业的状态

• 如果是通过作业编辑器提交的BSP作业，可在作业编辑器 > SQL开发页面下方的执行记录页签查看。

• 如果不是通过作业编辑器提交的BSP作业，可通过information_schema.kepler_meta_elastic_job_list表查看。查询方法如下：

  SELECT status FROM information_schema.kepler_meta_elastic_job_list WHERE process_id='<job_id>';

  说明

  information_schema.kepler_meta_elastic_job_list表中会保存最近30天提交的BSP任务，最多保存1000个。您可对该表进行聚合等进一步统计分析。以下示例为统计各个状态的BSP作业数量。

  SELECT status,count(*) FROM information_schema.kepler_meta_elastic_job_list GROUP BY status;

如何选择BSP作业的同步提交与异步提交方式

同步提交与异步提交功能上并无差别，区别仅在于客户端是否需要等待查询执行完成。

建议对执行时间较长、计算量较大，但结果集较小的查询（如INSERT INTO SELECT、INSERT OVERWRITE SELECT、CREATE TABLE AS SELECT等）使用异步提交。