为了节省调度资源,在确保不存在资源与状态冲突的前提下,您可以设置基于离线代码模板创建的模板任务是否共享运行调度资源。本文为您介绍如何开启全局共享资源开关。
背景信息
为了避免不同任务运行之间产生资源或状态的冲突(如修改全局环境变量、移除本地共享文件等等),Dataphin默认为每个Shell或Python任务分配独立的容器来保障任务的互相隔离。但是大批量任务同时运行时会导致运行资源占用率高,影响共享运行资源任务(如SQL任务)的调度,从而影响业务数据产出及时性。因此支持引用了同一个离线计算模板的多个Shell和Python任务可以共享运行资源,以提升资源利用率。
出于权限控制和安全性考虑,首先需要由运维租户在管理中心的运行配置部分开启是否共享运行资源的全局开关。开启后,超级管理员可以针对每个模板单独配置,基于该模板创建的代码任务是否共享运行资源。由于基于同一个模板创建的任务使用场景相似、参数一致,因此可以合理评估有效控制不同任务共享运行资源带来的风险。如何为离线计算模板开启共享运行资源开关,请参见步骤三:配置离线计算模板。
权限说明
仅支持元仓租户的超级管理员和系统管理员开启或关闭全局共享资源开关。
注意事项
开启共享资源开关前,请您合理评估数据安全性并确保共享运行资源的任务间不存在冲突,否则可能导致任务运行异常。
操作步骤
在Dataphin首页,单击顶部菜单栏的管理中心。
按照下图指引,在运行设置页面,开启Shell和Python模板任务全局共享资源开关。
如果您不需要开启Shell和Python模板任务全局共享资源开关,可以手动切换为关闭,也可以一键恢复默认值。
单击保存,即可开启全局共享资源的开关。
重要每次修改配置前已经生成的运行实例不受影响。
后续步骤
开启共享资源开关后,您就可以创建、配置及提交离线计算。具体操作,请参见创建、配置并提交离线计算模板。