配置离线任务运行资源

您可以在离线任务属性面板中配置当前任务的运行资源,即为运行当前计算任务所分配的CPU和内存资源。本文为您介绍离线任务属性的运行资源参数配置。

操作步骤

重要

如果当前任务代码中使用了@required_resource{}注解,则注解的优先级更高,系统将按照注解来分配运行资源,属性中此处的设置不会生效。

  1. 在Dataphin首页,在顶部菜单栏选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目(Dev-Prod 模式需要选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务,在计算任务列表中单击目标任务名称。

  4. 在右侧边栏中单击属性,在属性面板的运行资源区域配置CPU内存

    不同任务类型的CPU和内存的默认值如下表。

    任务类型

    CPU(Core)

    内存(MB)

    • Python

    • Shell

    0.1

    256

    • SPARK_JAR_ON_MAXCOMPUTE

    • SPARK_JAR_ON_HIVE

    0.3

    2048

    • MAXCOMPUTE_MR

    • HADOOP_MR

    0.3

    512

    说明

    CPU和内存支持分配的最大值为4核16GB。如果为某个计算任务分配的运行资源过多,可能会发生资源抢占的情况,请合理按需分配运行资源。