文档

数据计算计费说明

更新时间:

DataWorks支持的各类型节点任务(例如,PyODPS、EMR Hive),一部分会通过调度下发至各引擎执行,另一部分直接在DataWorks的资源组上执行或通过DataWorks资源组启动资源再下发至引擎执行,任务代码执行时会占用一定计算资源。下发至计算引擎的任务由对应计算引擎收取数据计算费用;在DataWorks新版资源组执行的任务或通过新版资源组启动资源再下发至引擎执行的任务,会占用DataWoks资源组的计算资源,DataWorks会收取数据计算费用。本文为您介绍新版资源组运行数据计算任务的收费详情。

费用产生场景

使用新版资源组在以下模块运行计算型任务,会产生相应计算费用:

  • 数据开发:在数据开发(DataStudio)运行数据计算任务,任务代码执行将产生数据计算费用。

  • 数据质量:若数据计算任务配置了数据质量校验规则,执行规则校验的SQL将产生数据计算费用。

  • 数据分析:在数据分析运行Shell、Python等数据计算型任务时,将产生数据计算费用。

  • 运维中心:在运维中心运行数据计算任务。

DataWorks支持的计算型任务,请参见附录:计算型任务列表

说明

旧版资源组运行各类型节点任务不涉及数据计算费用。

新版资源组计费说明

新版资源组统一按照CU计费,1CU = 1核CPU + 4GiB内存。

附录:计算型任务列表

如何判断计算型任务

您可进入数据开发(DataStudio)相应节点的编辑页面,通过右侧导航栏的调度配置 > 资源属性,查看当前任务的类型。

  • 计算型任务:在资源属性区域,需指定任务运行所需的调度CU。

    • 场景一:调度CU可自定义CU量。

      image

    • 场景二:调度CU仅支持配置为默认的CU量。

      image

  • 调度型任务:在资源属性区域,仅支持选择调度资源组,无需配置任务使用的CU量。

    image

计算型任务列表

使用新版资源组运行数据计算任务会消耗CU,涉及的默认CU及运行CU介绍如下:

  • 默认CU:每次运行任务时,平台根据任务类型分配的推荐CU量,低于该值可能无法保障任务的高效运行。

  • 运行CU:运行任务实际配置的CU量,平台默认填充为默认CU的值,您可按需调整。配置原则如下:

    • 最低配置为0.25CU,步长为0.25CU。若界面提示当前资源组的CU额度不足,可调整数据计算任务的CU配额。

    • 为避免资源配置不足或过量,请参考默认CU及数据计算任务的CU配额合理配置。详情请参见配额管理

说明

仅部分任务支持调整运行CU。例如:

  • Hologres SQL任务的运行CU无法调整,只能配置为0.25(即默认CU)。

  • PyODPS 2任务的运行CU默认为0.5,您可按需调整(例如,0.4、0.6等)。

示例:在数据开发(DataStudio)运行HologresSQL、PyODPS 2任务,运行CU如下。

image

DataWorks支持的计算型任务、各任务的默认CU量及运行CU的更改情况如下表。

数据源类型

任务类型

默认CU

运行CU是否可修改(Y:是/N:否)

MaxCompute

ODPS MR

0.5CU

Y

PyODPS 2

0.5CU

Y

PyODPS 3

0.5CU

Y

Hologres

Hologres SQL

0.25CU

N

一键MaxCompute表结构同步节点

0.25CU

Y

一键MaxCompute数据同步节点

0.25CU

Y

EMR

EMR Hive

0.25CU

N

EMR Presto

0.25CU

N

EMR Impala

0.25CU

N

EMR Trino

0.25CU

N

EMR MR

0.25CU

Y

EMR Spark SQL

0.25CU

N

EMR Spark

0.5CU

Y

EMR Spark Streaming

0.5CU

Y

EMR Shell

0.25CU

Y

CDH

CDH Hive

0.25CU

N

CDH Presto

0.25CU

N

CDH Impala

0.25CU

N

CDH Trino

0.25CU

N

CDH MR

0.25CU

Y

CDH Spark SQL

0.25CU

N

CDH Spark

0.5CU

Y

CDH Spark Streaming

0.5CU

Y

CDH Shell

0.25CU

Y

ADB for PostgreSQL

AnalyticDB for PostgreSQL

0.25CU

Y

AnalyticDB for MySQL

AnalyticDB for MySQL

0.25CU

Y

ClickHouse

ClickHouse SQL

0.25CU

N

通用

赋值节点

0.25CU

Y

循环结束节点

——

Y

Shell

0.25CU

Y

SSH节点

0.25CU

Y

FTP Check

0.25CU

N

MySQL

0.25CU

N

自定义节点

0.25CU

Y

算法

PAI DLC

0.25CU

N

相关文档