文档

任务运行资源说明

更新时间:

任务运行资源是指在Dataphin中创建任务并在运行时任务所占的计算资源,即CPU和内存的大小。本文为您介绍在Dataphin中如何自定义任务运行资源,助力您根据自身需求分配更合适的资源大小。

任务资源分类

Dataphin任务按运行模式可为两大类:

  • 共享Docker资源任务:对于共享Docker资源任务,所有共享Docker资源的任务会运行在同一个容器中。如,SQL任务。

  • 非共享Docker资源任务:对于非共享Docker资源任务,每次任务启动时都会启动一个新的Docker容器用于执行任务。如,Shell、Python、MapReduce等任务。

任务运行资源消耗

任务运行时所用的资源消耗由两部分组成,容器基座任务资源

  • 容器基座:容器基座资源由系统配置决定,不可修改。具体详情,请参见容器基座

  • 任务资源:对于任务资源,您可进行自定义。具体详情,请参见任务运行资源消耗

容器基座

容器基座资源消耗详情如下:

任务类型

资源

非共享资源任务

CPU:0.3核

内存:1GB

共享资源任务(SQL)

说明

共享资源任务的并发控制由RS的环境变量控制。

CPU:0.5核

内存:4GB

任务默认资源

各任务类型的默认资源配置与自定义支持情况见下表所示:

任务类型

默认任务资源

是否可自定义

Shell/Python

CPU:0.1核

内存:256MB

离线管道/任务同步

CPU:0.5核

内存:1GB

SQL

不消耗额外资源。

Spark(JAR/SQL)

CPU:0.3核

内存:4GB

MapReduce

CPU:0.2核

内存:512MB

任务资源配置说明

自定义资源配置CPU可配置区间0.001CPU~4.0CPU,内存可配置区间32MB~16GB。若您需自定义任务资源大小,您可以在任务的代码头部添加注解语句:

@required_resource{required_memory=内存大小;required_cpus=CPU大小}

代码示例:

!#/bin/bash
@required_resource{required_memory=2GB;required_cpus=1.0}
@resource_reference{"test-boot.jar"}

java -jar test-boot.jar -Xms 1024m -Xmx 1024m
  • 本页导读 (0)
文档反馈