您可以在离线任务属性面板中配置当前任务的运行资源,即为运行当前计算任务所分配的CPU和内存资源。本文为您介绍离线任务属性的运行资源参数配置。
操作步骤
重要
如果当前任务代码中使用了@required_resource{}
注解,则注解的优先级更高,系统将按照注解来分配运行资源,属性中此处的设置不会生效。
在Dataphin首页,在顶部菜单栏选择研发 > 数据研发。
在开发页面的顶部菜单栏选择项目(Dev-Prod 模式需要选择环境)。
在左侧导航栏中选择数据处理 > 计算任务,在计算任务列表中单击目标任务名称。
在右侧边栏中单击属性,在属性面板的运行资源区域配置CPU和内存。
不同任务类型的CPU和内存的默认值如下表。
任务类型
CPU(Core)
内存(MB)
Python
Shell
0.1
256
SPARK_JAR_ON_MAXCOMPUTE
SPARK_JAR_ON_HIVE
0.3
2048
MAXCOMPUTE_MR
HADOOP_MR
0.3
512
说明CPU和内存支持分配的最大值为4核16GB。如果为某个计算任务分配的运行资源过多,可能会发生资源抢占的情况,请合理按需分配运行资源。
文档内容是否对您有帮助?