文档

Serverless Computing(Beta)

更新时间:

Hologres支持Serverless Computing,您可以指定ETL任务在全托管的Serverless Computing资源池进行,无需预留固定规格的计算资源,且各ETL任务还可使用独立的Serverless Computing资源,确保任务之间资源隔离,避免了资源竞争与相互干扰的情况。

说明

Serverless Computing处于免费邀测中,如果您需要开通试用该功能,请提交申请联系技术支持。提交申请后即视为您同意按照《阿里云法律声明及隐私权政策》处理并保障您的信息安全。

背景信息

在未开启Serverless Computing的情况下,执行ETL任务需要预先预留计算资源,这在没有任务运行时会导致资源闲置和浪费。此外,由于ETL任务之间的资源并未实现隔离,ETL任务之间会相互竞争共享资源,从而彼此产生干扰,并可能导致查询性能的不稳定,即查询抖动现象。开启Serverless Computing后,ETL任务可在Serverless Computing资源池进行,并避免了资源争抢和资源浪费,开启Serverless Computing的架构介绍如下图所示。

image

计费说明

Serverless Computing资源是按照ETL任务的实际资源消耗和运行时间按量付费。

重要

目前Serverless Computing处于免费邀测中,具体收费时间和价格会在收费前1个月通知。

实例计算资源和Serverless Computing资源Quota的对应关系如下表所示。

说明
  • Quota表示每个实例执行阶段(EXECUTE)的SQL所占用的Serverless Computing资源的上限。

  • 超过Quota的SQL会开始排队,进入等待资源状态(QUEUE)。

实例计算资源(CU)

Serverless Computing资源Quota

实例计算资源<32

不支持使用Serverless Computing。

32=<实例计算资源<688

Serverless Computing资源Quota为实例计算资源的3倍。例如32CU的实例,可用的Serverless Computing资源Quota=32*3=96 CU。

实例计算资源>=688

支持最高达到2048CU的资源配额。

注意事项

  • 需满足以下所有条件,才支持使用Serverless Computing:

    • 实例类型为:通用型计算组型

    • 地域和可用区:华东1(杭州)的可用区J、 华南1(深圳)的可用区F、华东2(上海)的可用区E。

    • 实例版本为:Hologres V2.1.17及以上版本。

      说明

      如果您的实例是V2.1.17以下版本,请您使用实例升级或加入实时数仓Hologres交流群申请升级实例,详情请参见如何获取更多的在线支持?

  • 以下情况不支持使用Serverless Computing:

    • 开启了多行DML事务的查询,如set hg_experimental_enable_transaction = on

    • 使用Fixed Plan的SQL。

    • 加密表(包括内表和外表)。

  • 如果需要使用EXTENSION,现在仅支持如下EXTENSION:

    • ClickHouse

    • Flow Analysis

    • PostGIS

    • RoaringBitmap

    • BSI

    • Proxima

  • 仅INSERT(不包括INSERT OVERWRITE)、INSERT ON CONFLICT(UPSERT)、DELETE和UPDATE的DML操作支持使用Serverless Computing。

开启Serverless Computing

新购实例

访问Hologres实例列表,单击新增引擎实例,在实例购买页面,设置开启Serverless Computing参数为。关于新购实例详情,请参见购买Hologres

image

存量实例

访问Hologres实例列表,在顶部菜单栏左侧选择地域,选择目标实例,单击操作列中的升配,在变配页面,设置开启Serverless Computing参数选为

说明

开启Serverless Computing配置期间会重启实例,请尽量在业务低峰期执行变配操作,建议应用具备重连机制。升配计算资源配置涉及计算资源重新分配,元数据变更等操作,通常需要2~5分钟,请您耐心等待。

image

关闭Serverless Computing

您可以访问Hologres实例列表,在顶部菜单栏左侧选择地域,选择目标实例,单击操作列中的升配,在变配页面,设置开启Serverless Computing参数选为

image

说明
  • 关闭Serverless Computing配置期间会重启实例,请尽量在业务低峰期执行变配操作,建议应用具备重连机制。升配计算资源配置涉及计算资源重新分配,元数据变更等操作,通常需要2~5分钟,请您耐心等待。

  • Serverless Computing关闭后,不支持指定Serverless Computing资源,当前Serverless Computing资源中运行和排队的任务都会失败。

使用建议

建议使用Serverless Computing资源执行SQL时,同时Session级别配置活跃Query运行超时时间,以避免SQL运行时间过长或者等待时间过长,导致堵塞后续所有任务。

  • 语法示例

    set statement_timeout = <time>;

    参数说明

    time:超时时间取值范围为0~2147483647ms,单位默认为ms(当time后加单位时需要使用单引号,否则会报错)。默认超时时间为8小时。

  • 使用示例

    -- 使用 Serverless Computing 资源执行 SQL.
    SET hg_computing_resource = 'serverless';
    
    -- 设置该SQL的优先级是5.
    SET hg_experimental_serverless_computing_query_priority to 5;
    
    --设置活跃query超时时间是2小时.
    SET statement_timeout = '2h';
    
    -- 执行 SQL.
    INSERT INTO sink_tbl SELECT * FROM source_tbl;
    
    -- 重置配置
    reset hg_computing_resource;
    reset statement_timeout;

使用Serverless Computing资源执行SQL

  • 您可以通过执行如下代码,使用Serverless Computing资源执行SQL命令。

    -- 使用Serverless Computing资源执行SQL,默认值为local,表示使用本实例资源执行SQL。
    SET hg_computing_resource = 'serverless';
    
    --提交DML后重置配置,保证非必要的SQL不会使用serverless资源。
    reset hg_computing_resource;
    重要
    • 建议Session级别设置,请勿在数据库级别修改该参数。

    • 建议提交DML后,使用reset hg_computing_resource重置资源,重置后的SQL将在本地执行,保证非必要的SQL不使用serverless资源。

  • 使用示例

    --数据准备--
    -- 创建源表
    CREATE TABLE source_tbl ( id int );
    -- 创建目标表
    CREATE TABLE sink_tbl ( id int );
    -- 写入样例数据
    INSERT INTO source_tbl
    SELECT * FROM generate_series(1, 99999999);
    
    --使用Serverless Computing资源执行SQL--
    SET hg_computing_resource = 'serverless';
    --执行SQL
    INSERT INTO sink_tbl SELECT * FROM source_tbl;
    -- 重置配置
    reset hg_computing_resource;

    您可以执行以下代码,查看上述SQL执行计划。

    -- 使用Serverless Computing资源执行SQL
    SET hg_computing_resource = 'serverless';
    
    -- 执行SQL
    EXPLAIN INSERT INTO sink_tbl SELECT * FROM source_tbl;
    
    -- 重置配置
    reset hg_computing_resource;

    返回结果如下。返回结果中Computing Resource: Serverless:表示使用Serverless Computing资源执行。

                                            QUERY PLAN                                        
    ------------------------------------------------------------------------------------------
     Gather  (cost=0.00..5.18 rows=100 width=4)
       ->  Insert  (cost=0.00..5.18 rows=100 width=4)
             ->  Redistribution  (cost=0.00..5.10 rows=100 width=4)
                   ->  Local Gather  (cost=0.00..5.10 rows=100 width=4)
                         ->  Decode  (cost=0.00..5.10 rows=100 width=4)
                               ->  Seq Scan on source_tbl  (cost=0.00..5.00 rows=100 width=4)
     Computing Resource: Serverless
     Optimizer: HQO version 2.1.0
    (8 rows)

高级操作:设置单条SQL的资源量与优先级

通过对单条SQL设置可使用的资源量上限以及按优先级的排队机制,保障进入Serverless Computing资源的SQL能稳定有序的执行。

  • 在Hologres Serverless Computing中,单条SQL可使用的Serverless Computing资源量由以下三个参数决定。系统会取三个参数的最小值为单条SQL申请资源。

    参数

    说明

    Quota

    Hologres实例可使用的Serverless Computing资源上限,详情请参见计费说明

    hg_experimental_serverless_computing_max_cores

    每条SQL可被分配的Serverless Computing资源上限,默认为512,支持修改。

    hg_experimental_serverless_computing_required_cores

    系统自动估算该SQL需要使用的Serverless Computing资源量,支持修改,修改后系统不再自动估算。

  • 同时,Hologres还支持为Serverless Computing资源中执行的SQL设置优先级。优先级取值范围1~5,5为最高优先级,默认优先级为3。

示例场景:

假设现有Hologres实例规格为32 cores,该实例可使用的Serverless Computing资源上限为96 cores。当SQL A正在使用Serverless的64 cores资源运行,同时,Serverless任务队列中已有SQL B(需要申请48 cores资源,优先级5)、SQL C(需要申请32 cores资源,优先级3)等待运行。此时,系统会等待SQL A执行完成后优先申请48 cores资源用于执行SQL B,而非先使用剩余的32 cores资源来执行SQL C。

设置单条SQL的Serverless Computing资源上限

  • 您可以执行如下代码,设置每条SQL被分配的Serverless Computing资源上限。

    -- 配置单个Serverless Computing分配的最大CU,默认为512。
    SET hg_experimental_serverless_computing_max_cores = 512;
    
    -- 重置配置
    reset hg_experimental_serverless_computing_max_cores;
  • 使用示例

    -- 使用Serverless Computing资源执行SQL
    SET hg_computing_resource = 'serverless';
    
    -- 设置单条SQL最多使用32CU执行
    SET hg_experimental_serverless_computing_max_cores = 32;
    
    -- 执行SQL
    INSERT INTO sink_tbl SELECT * FROM source_tbl;
    
    -- 重置配置
    reset hg_computing_resource;
    reset hg_experimental_serverless_computing_max_cores;
说明
  • 建议数据库级别设置。

  • 实际分配时,系统会根据SQL的复杂程度自动分配资源。

  • 实际执行时会取hg_experimental_serverless_computing_max_cores和Quota的最小值作为上限,评估SQL需要使用的Serverless Computing资源。

设置单条SQL的Serverless Computing资源分配

针对hg_experimental_serverless_computing_required_cores参数,系统会根据SQL的复杂程度自动估算需要的资源量。系统自动估算出的资源量可以有效平衡Serverless资源利用和SQL执行时长。若需某条SQL能够分配到更多的Serverless Computing资源,您可通过设置hg_experimental_serverless_computing_required_cores参数进行Serverless Computing资源分配。

  • 您可以执行如下代码,设置单个SQL语句在执行时所分配的Serverless Computing资源。

    -- 默认为0,表示该Serverless Computing的计算资源由系统自动估算
    SET hg_experimental_serverless_computing_required_cores = XX;
    
    -- 重置配置
    reset hg_experimental_serverless_computing_required_cores;
  • 使用示例

    --使用Serverless Computing资源执行SQL
    SET hg_computing_resource = 'serverless';
    
    --Serverless Computing的计算资源不由系统估算,申请96CU的计算资源
    SET hg_experimental_serverless_computing_required_cores = 96;
    
    -- 执行SQL
    INSERT INTO sink_tbl SELECT * FROM source_tbl;
    
    -- 重置配置
    reset hg_computing_resource;
    reset hg_experimental_serverless_computing_required_cores;
说明
  • 建议Session级别设置,请勿在数据库级别修改该参数。

  • 实际执行时,会取Quota、hg_experimental_serverless_computing_required_coreshg_experimental_serverless_computing_max_cores的最小值来申请资源。

设置单条SQL的Serverless Computing资源的优先级

  • 您可以执行如下代码,设置Serverless Computing资源中SQL执行的优先级。

    -- 优先级范围为 [1, 5], 数值越大,优先级越高,越优先分配资源(和分配资源数量无关)
    -- 默认优先级为3.
    SET hg_experimental_serverless_computing_query_priority to 5;
    -- 重置配置
    reset hg_experimental_serverless_computing_query_priority;
  • 使用示例

    --使用Serverless Computing资源执行 SQL.
    SET hg_computing_resource = 'serverless';
    
    -- 设置该SQL的优先级是5
    SET hg_experimental_serverless_computing_query_priority to 5;
    
    -- 执行SQL
    INSERT INTO sink_tbl SELECT * FROM source_tbl;
     
    -- 重置配置
    reset hg_computing_resource;
    reset hg_experimental_serverless_computing_query_priority;

更多操作

查看Serverless Computing资源中SQL任务的运行状态

  • 查看Serverless Computing资源中正在运行的SQL任务。

    SELECT
        *,
        (running_info::json) ->> 'computing_resource' AS computing_resource,
        (running_info::json) ->> 'current_stage' AS current_stage
    FROM
        hg_stat_activity
    WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
        AND (running_info::json) -> 'current_stage'->>'stage_name' = 'EXECUTE'
  • 查看Serverless Computing资源中排队的SQL任务。

    SELECT
        *,
        (running_info::json) ->> 'computing_resource' AS computing_resource,
        (running_info::json) ->> 'current_stage' AS current_stage
    FROM
        hg_stat_activity
    WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
        AND (running_info::json) -> 'current_stage'->>'stage_name' = 'QUEUE'
  • 查看Serverless Computing资源中SQL任务的运行状态。

    SELECT
        *,
        (running_info::json) ->> 'computing_resource' AS computing_resource,
        (running_info::json) ->> 'current_stage' AS current_stage
    FROM
        hg_stat_activity
    WHERE 
        query_id = '<query_id>';

查询历史的Serverless Computing任务

  • 在慢Query日志中查看在Serverless Computing资源中执行的历史任务。

    SELECT
        *,
        extended_cost::json ->> 'queue_time_ms' AS queue_time_ms,--Serverless Computing资源中SQL等待排队时长。
        extended_cost::json ->> 'serverless_allocated_cores' AS serverless_allocated_cores,--Serverless Computing资源分配给当前SQL的CU数。
        extended_cost::json ->> 'serverless_allocated_workers' AS serverless_allocated_workers,--Serverless Computing资源分配给当前SQL的Worker数。
        extended_cost::json ->> 'serverless_resource_used_time_ms' AS serverless_resource_used_time_ms--当前SQL实际占用Serverless Computing资源的时长。
    FROM
        hologres.hg_query_log
    WHERE
        query_extinfo @> ARRAY['serverless_computing'::text];
  • hologres.hg_serverless_computing_query_log视图中查看在Serverless Computing资源中执行的历史任务。

    SELECT
        *
    FROM
        hologres.hg_serverless_computing_query_log;
    说明

    自2.1.18版本开始,为了方便查询,将慢query日志中Serverless Computing任务相关内容固化为列,并且新增了hologres hg_serverless_computing_query_log视图。相对于慢Query日志hologres.hg_serverless_computing_query_log视图中新增以下字段:

    • queue_time_ms:Serverless Computing资源中SQL等待排队时长,单位毫秒(ms)。

    • serverless_allocated_cores:Serverless Computing资源实际分配给当前SQL的CU数。

    • serverless_allocated_workers:Serverless Computing资源实际分配给当前SQL的Worker数。

    • serverless_resource_used_time_ms:当前SQL实际占用Serverless Computing资源的时长,单位毫秒(ms)。

查看当前数据库运行的SQL占用的Serverless Computing资源

  • 查看Serverless Computing资源中正在运行的SQL任务占用的总资源量。

    SELECT
        datname::text as db_name,
        (running_info::json) -> 'current_stage' ->> 'stage_name' AS current_stage,
        SUM(((running_info::json) -> 'current_stage' ->> 'serverless_allocated_cores')::int) AS total_computing_resource,
        count(1) as query_qty
    FROM
        hg_stat_activity
    WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
    GROUP BY
        1,
        2;
  • 返回结果字段说明

    字段

    描述

    db_name

    数据库名称。

    current_stage

    当前SQL执行阶段。

    • PARSE:SQL解析。

    • OPTIMIZE:生成执行计划。

    • QUEUE:等待资源。

    • START:Query开始阶段。

    • EXECUTE:Query执行阶段。

    • FINISH:Query完成。

    total_computing_resourcet

    在当前数据库和SQL执行阶段,使用的Serverless Computing资源总量。

    query_qty

    SQL数量。

  • 本页导读 (1)
文档反馈