离线工作流属性与算子资源配置

前提条件

当前实例购买非结构化数据功能后，方可使用离线工作流。

工作流属性

1. 在Dataphin首页的顶部菜单栏中，选择研发 > 数据研发。

2. 在开发页面的顶部菜单栏选择项目。

3. 在左侧导航栏中选择数据处理 > 工作流，在左侧工作流列表中单击目标离线工作流，在右侧边栏单击属性。

   配置当前离线工作流的基本信息、调度配置、调度依赖、运行参数、运行配置、资源配置，配置方式同离线计算任务。

   离线工作流运行配置中还支持配置算子加工异常，可选择忽略异常数据继续执行或异常后终止任务。

   • 忽略异常数据继续执行：当算子抛出异常后，跳过该数据并继续执行。

   • 异常后终止任务：当算子抛出异常后，工作流直接终止。

算子资源配置

为避免工作流运行时触发OOM，支持为每个算子单独配置CPU和内存资源。工作流提交时，系统将进行资源检查。若工作流所申请的资源大于所使用资源组的最大资源，则该工作流提交失败。

1. 在Dataphin首页的顶部菜单栏中，选择研发 > 数据研发。

2. 在开发页面的顶部菜单栏选择项目。

3. 在左侧导航栏中选择数据处理 > 工作流，在左侧工作流列表中单击目标工作流，打开工作流画布，单击画布中的目标算子，在右侧对应算子配置面板中单击资源配置。

4. 在资源配置对话框中，配置CPU和内存，单个算子可配置的最大资源为4Core、16384MB（16G）。工作流中所有算子配置的CPU和内存总和应小于等于所使用资源组的最大资源。

   不同算子在选择系统内置模型和多模态大模型时，默认内存不同，切换模型后系统将初始化算子的配置值。若用户在切换模型前，已完成算子的资源配置，则切换模型后资源配置值不变。

5. 配置完成后，单击确定。