任务运行资源是指在Dataphin中创建任务并在运行时任务所占的计算资源,即CPU和内存的大小。本文为您介绍在Dataphin中如何自定义任务运行资源,助力您根据自身需求分配更合适的资源大小。
任务资源分类
Dataphin任务按运行模式可为两大类:
共享Docker资源任务:对于共享Docker资源任务,所有共享Docker资源的任务会运行在同一个容器中。如,SQL任务。
非共享Docker资源任务:对于非共享Docker资源任务,每次任务启动时都会启动一个新的Docker容器用于执行任务。如,Shell、Python、MapReduce等任务。
任务运行资源消耗
任务运行时所用的资源消耗由两部分组成,容器基座和任务资源。
容器基座
容器基座资源消耗详情如下:
任务类型 | 资源 |
非共享资源任务 | CPU:0.3核 内存:1GB |
共享资源任务(SQL) 说明 共享资源任务的并发控制由RS的环境变量控制。 | CPU:0.5核 内存:4GB |
任务默认资源
各任务类型的默认资源配置与自定义支持情况见下表所示:
任务类型 | 默认任务资源 | 是否可自定义 |
Shell/Python | CPU:0.1核 内存:256MB | 是 |
离线管道/任务同步 | CPU:0.5核 内存:1GB | 是 |
SQL | 不消耗额外资源。 | 否 |
Spark(JAR/SQL) | CPU:0.3核 内存:4GB | 是 |
MapReduce | CPU:0.2核 内存:512MB | 是 |
任务资源配置说明
自定义资源配置CPU可配置区间0.001CPU~4.0CPU
,内存可配置区间32MB~16GB
。若您需自定义任务资源大小,您可以在任务的代码头部添加注解语句:
@required_resource{required_memory=内存大小;required_cpus=CPU大小}
代码示例:
!#/bin/bash
@required_resource{required_memory=2GB;required_cpus=1.0}
@resource_reference{"test-boot.jar"}
java -jar test-boot.jar -Xms 1024m -Xmx 1024m
反馈
- 本页导读 (0)
文档反馈