DataWorks在原有任务级别调度参数基础上,新增工作空间级别的调度参数,如果同一个工作空间中的多个参数需配置为相同值,可以使用工作空间参数。工作空间参数可配置为脱敏展示,以保护您的敏感数据;同时,在标准模式工作空间下,生产环境和开发环境工作空间参数的取值可以不同。
相关介绍
调度参数是DataWorks任务调度时使用的参数,可根据您配置的参数取值规则,在每次任务运行时自动替换为真实的取值。更多调度参数的介绍及使用,详情请参见调度参数。
前提条件
-
已创建工作空间。工作空间参数需在指定的工作空间内使用。创建工作空间,详情请参见配置工作空间。
-
已添加用户至指定工作空间并授予空间管理员角色权限。仅拥有空间管理员或空间owner支持创建、修改、删除、回滚工作空间参数,以及查看工作空间密文参数。授权详情请参见添加空间成员并管理成员角色权限。
-
已购买专业版及以上版本DataWorks产品。仅专业版及以上版本DataWorks支持使用工作空间参数。购买详情请参见购买或升级DataWorks版本。
使用限制
-
工作空间参数仅支持使用通用资源组(Serverless 资源组)。
注意事项
-
工作空间参数的密文(脱敏)能力旨在帮助您统一管理参数,并对敏感参数进行基础脱敏。该脱敏仅在DataWorks产品范围内的代码和日志中生效,并非全局安全能力(例如通过其他计算引擎等方式访问时可能被绕过),不能替代密钥管理服务KMS。
-
对于密钥、凭证等高敏感数据,建议使用KMS统一托管。DataWorks的PyODPS、Shell、Notebook、PAI DLC等节点类型支持通过角色访问相关云服务。您可以为运行角色授予相应权限,在任务执行期间动态从KMS获取所需的密钥或敏感信息,避免将其直接配置在代码或工作空间参数中。
创建工作空间参数
-
进入工作空间参数创建入口。
-
进入运维中心页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入运维中心。
-
在运维中心左侧导航单击,然后切换至工作空间参数页签。
-
-
创建工作空间参数。
-
在工作空间参数页面,单击新建工作空间参数,根据业务需要配置参数信息。
说明如您有大量全局参数需要创建,也可单击批量新建工作空间参数,批量创建参数。
配置项
描述
参数名称
自定义参数名称,默认以workspace.固定格式开头。参数名称必须唯一。
责任人
设置工作空间参数的负责人。
说明-
空间管理员可以指定工作空间中的任意一个成员作为参数的责任人。
-
仅空间管理员可以修改、删除所有工作空间参数。
如您需执行相关参数管理操作,可添加用户至工作空间并授予相应角色权限,详情请参见添加空间成员并管理成员角色权限。
适用工作空间
设置当前工作空间参数可用于哪个工作空间。配置完成后,后续此处配置的工作空间中的任务均可使用本次新增的工作空间参数。
说明-
列表仅展示当前登录账号作为空间管理员的工作空间。
-
每个工作空间参数仅支持选择用于某一个工作空间中。
参数类型与参数值
用于定义当前工作空间参数后续在任务使用中的实际替换值,支持的参数类型及取值如下:
-
常量(明文):参数实际赋值为所有用户可见的常量。例如,123。
-
常量(密文):参数实际赋值为脱敏展示(默认为******)的常量。常用于较敏感的数据使用。例如,输入123则会显示为******。
-
变量:参数的实际赋值会根据您配置的变量动态替换为相应值。
例如,参数值可配置为获取任务的定时调度时间$[yyyy-mm-dd],获取任务运行的业务日期${yyyy-mm-dd},更多赋值格式可参考调度参数支持的格式。
说明-
参数值支持配置为部分特殊字符,具体请以实际界面提示为准。
-
不支持在一个参数赋值中引用另一个工作空间参数。
另外,若您使用的是标准模式的工作空间,则可根据需要配置同一个参数在开发环境和生产环境的取值不同。工作空间模式介绍,详情请参见工作空间模式区别。
-
-
配置完成后,单击确定,完成参数的创建。
-
使用工作空间参数
工作空间参数创建完成后,您需进入被授权的工作空间,在相应节点编辑页面使用参数。工作空间参数的使用与调度参数相同,步骤如下:
-
先在节点任务代码中定义变量。
-
进入节点编辑页面的区域,为变量赋值工作空间参数。
参数配置完成后您可预览参数取值是否符合预期,并根据需要进行调整。更多调度参数的使用,详情请参见配置并使用调度参数。
-
你可根据实际需要创建合适的节点,详情请参见节点类型说明。
-
节点使用空间参数后需在节点编辑页面工具栏执行保存、提交操作,提交后才认为参数被引用成功。
-
工作空间参数仅支持使用通用资源组(Serverless 资源组)。
在调度参数的参数值输入框中,单击后弹出浮层,切换至工作空间参数 Tab 页签,选取所需的工作空间参数(如 ${workspace.test})完成赋值。
管理工作空间参数
在工作空间参数页面,您可对工作空间参数执行如下管理操作:
-
仅拥有空间管理员或空间owner角色的工作空间成员支持创建、修改、删除、回滚工作空间参数,以及查看工作空间密文参数。
-
仅拥有开发、运维、空间管理员角色的工作空间成员支持查看工作空间参数的引用任务及版本。
添加用户至工作空间并授权相关角色权限,详情请参见添加空间成员并管理成员角色权限。
-
查看参数:您可查看参数详情、适用工作空间、引用的任务等信息,根据任务ID即可跳转至相应任务进行开发操作。
-
修改参数:
-
仅支持修改参数的责任人、取值及描述信息。参数每修改一次,都会生成一个新的版本。
-
若工作空间参数已被其他任务引用,修改参数将影响该任务中工作空间参数的取值情况,请谨慎操作。
-
修改后的参数配置,其生效时间最晚不超过10分钟。
-
-
对比及回滚参数:您可查看参数历史版本,并根据需要进行版本内容对比,回滚参数至所需版本。
-
删除参数:
-
若工作空间参数已被其他任务引用,则无法删除。
-
删除参数将导致对应任务运行失败,请谨慎操作。
-
删除操作在工作空间参数页面立即生效,删除后您将无法在空间参数列表中找到该参数;但删除参数的10分钟内,引用该参数的任务,运行时可能仍可获取到该参数的赋值情况。
-