组件是一种带有多个输入参数和输出参数的SQL代码过程模板,而SQL代码过程可通过引入一个或多个源数据表,并进行过滤、连接、聚合等操作,加工出业务所需的目标表,因此,您可通过组件快速加工出符合业务需求的目标表。本文为您介绍组件的相关内容以及定义与使用。
SQL组件概述
组件介绍
在实际业务实践中,存在大量类似的SQL代码过程,过程中输入表和输出表的结构一致或结构类型兼容,仅名称不同。此时,组件的开发者可将该SQL过程抽象为一个SQL组件节点,将可变的输入表抽象为输入参数,可变的输出表抽象为输出参数,实现SQL代码的复用。
后续在使用SQL组件节点时,只需从代码组件列表中选择和自己的业务处理过程类似的组件,并为该组件配置自己业务中特定的输入表和输出表,无需再次编辑代码,便可直接生成新的SQL组件节点,极大提升了开发效率,避免重复开发。SQL组件节点生成后的发布、调度操作,与普通SQL节点的操作方式相同。
权限说明
您需具备DataWorks工作空间的开发权限,才可创建并使用组件。授权详情请参见添加空间成员并管理成员角色权限。
使用限制
仅DataWorks标准版及以上版本,才可使用SQL组件节点功能。详情请参见DataWorks各版本详解。
本工作空间成员创建的组件在组件下。
租户成员创建的组件在公共组件下。
组件类型
组件分为项目组件及公共组件,组件开发者(即创建组件的用户)在创建组件时可自行定义。
项目组件:组件发布后,默认仅该DataWorks工作空间的用户均可使用。若您希望使用该类组件,则需成为此工作空间的成员,详情请参见添加空间成员并管理成员角色权限。
公共组件:组件的开发者可进入公开组件页签,将具有全局通用性的组件发布到整个租户内,发布后,租户内所有用户均可使用该公共组件。
组件使用流程
在DataWorks中创建的组件需与DataWorks的SQL组件节点配合使用,具体流程如下:
定义SQL组件
进入组件管理页面
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在左侧导航栏单击组件管理,进入组件管理页面。
说明若左侧导航栏不存在组件管理,则可单击左下角的图标,根据模块管理自行添加。
创建并配置组件
以下为您介绍组件开发者如何通过组件管理新建组件,将指定的SQL过程抽象为一个SQL模板。一个组件通常由过程体、输入参数、输出参数组成。过程体用于定义组件功能的实现代码,在过程体中,通过@@{变量名}
格式,将可变的输入表或输入字符串抽象为组件的输入参数,将可变的输出表抽象为组件的输出参数,实现SQL代码的复用。
一个组件可配置多个输入参数和输出参数,具体请根据实际使用进行配置。
步骤一:创建组件
组件管理页面,您可通过如下方式创建组件并输入组件名称。
本工作空间成员创建的组件在组件下。
租户成员创建的组件在公共组件下。
步骤二:配置组件信息
步骤三:保存并提交组件
单击图标,保存组件;单击图标,提交组件。组件创建完成后,可在SQL组件节点中引用,帮助您快速生成业务所需的目标表。使用详情请参见引用SQL组件。
引用SQL组件
前提条件
已准备所需使用的组件,详情请参见定义SQL组件。
已创建SQL组件节点,详情请参见创建并管理MaxCompute节点。
引用组件
您需在已创建的SQL组件节点的编辑页面引用组件:
选择所需引用的组件。
如果没有可用组件,请参考定义SQL组件创建。
若所选组件存在最新版本,您可根据业务需要选择是否更新代码版本,引用最新组件版本。
单击打开组件即可查看组件详情。
根据实际使用配置组件参数值。
管理组件
分享及查看组件的引用记录
升级组件
后续步骤
当您完成当前节点的任务开发后,通常您可进行以下操作。
调度配置:配置节点的周期性调度属性。任务需要周期性调度运行时,您需要设置节点后续实际运行过程中的重跑属性、调度依赖关系等,操作详情请参见任务调度属性配置概述。
任务调试:对当前节点的代码进行测试运行,确认代码逻辑符合预期,操作详情请参见任务调试流程。
任务发布:完成所有开发相关操作后,您需要将所有任务节点进行发布,发布后节点将根据调度配置结果进行周期性运行,操作详情请参见发布任务。
更多参考
使用组件界面功能介绍
最佳实践
前提条件
已创建SQL组件节点,详情请参见创建并管理MaxCompute节点。
已在ODPS SQL节点中创建好输入表和输出表。