本文为您介绍在Dataphin中如何通过用户自定义配置计算参数,防止系统分配资源时出现不合理的现象。

自定义任务参数简介

自定义任务参数指的是对于逻辑表任务,可以通过指定一些计算引擎的参数,以提高计算任务的效率。自定义任务参数提供人为可干预的入口,避免由于企业的计算引擎特异性导致的引擎适配问题。

自定义任务参数配置

  1. 登录Dataphin。
  2. 在Dataphin首页,单击顶部菜单栏的管理中心
  3. 在左侧菜单栏中选择智能引擎 > 自定义任务参,可进入自定义任务参数配置页面。自定义任务参数
  4. 根据界面提示配置参数:
    • 自定义任务参数生效:自定义任务参数生效开启后,会全局应用到智能计算引擎的代码生成规则中,起到控制任务运行的时资源分配与运行机制的作用,如设置任务默认内存分配、默认优先级、MapJoin开启等。
    • 自定义参数配置:参数配置可根据实际情况进行填写,参数设置需要与当前Dataphin系统绑定的计算引擎源的特性一致。如下所示。
      set odps.sql.mapper.cpu=100
      set odps.sql.mapper.split.size=256
      set odps.sql.reducer.cpu=100
      set odps.sql.joiner.cpu=100
      说明 自定义参数配置采用优先级策略,任务节点粒度优先级最高,全局配置优先级低。
  5. 参数配置完后单击确定,在二次确认框单击确定,即可对默认值进行修改。确认
    同时您也可以在语义优化页面,单击恢复默认值,在二次确认框中单击确定,即可恢复默认值。确认