Data Studio支持创建并管理Lindorm File资源和Lindorm Function函数。您可以通过资源管理功能上传本地文件至Lindorm,并将其注册为函数以便在Lindorm Spark节点中使用。本文介绍如何通过资源管理创建Lindorm资源与函数。
前提条件
已绑定Lindorm计算资源。创建Lindorm资源与函数均基于Lindorm计算资源进行相关操作。
已完成资源文件的开发,文件可从本地上传。
已创建新版资源组(即Serverless资源组)。
创建并使用资源
资源说明
在Data Studio资源管理中,您可以上传本地文件至Lindorm,创建Lindorm File资源。创建的资源可在Lindorm相关节点中引用,也可作为Lindorm Function函数的依赖资源。
创建资源
在资源管理页面,单击新建图标,选择。
在新建资源面板中配置以下参数。
参数
说明
文件来源
选择文件来源方式。当前支持本地上传。
文件内容
单击点击上传,选择本地文件进行上传。
存储路径
选择文件的存储路径类型。支持以下方式:
OSS:将文件存储至OSS路径中。选择此项后,在下方选择目标OSS路径。
OSS 数据源:将文件存储至已配置的OSS数据源路径中。
资源组
选择执行资源上传操作的资源组。
完成新建资源后,需要在资源内上传本地文件,作为文件来源。
在上方工具栏对资源保存并发布,只有发布后的资源才能在数据开发中使用。
使用资源
完成资源创建后,在进行数据开发时,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标资源后,右键选择使用资源。引用资源成功后,会显示--@resource_reference{"资源名称"}格式的代码。
除了直接使用资源外,还可将资源创建为函数,再在开发节点中使用。
创建并使用函数
函数说明
在Data Studio资源管理中,支持将Lindorm File资源注册为Lindorm Function函数。Lindorm Function是注册在Lindorm中的自定义函数(UDF),创建函数时需要关联已上传的Lindorm File资源并指定类名。创建完成后,函数可在Lindorm Spark节点的SQL中使用。
创建函数
在资源管理页面,单击新建图标,选择。
单击确认,新建函数资源,并配置函数的相关信息。
配置Lindorm函数前,需确保已将Lindorm集群在DataWorks内创建为计算资源,并已上传Lindorm File资源。以下为Lindorm Function参数说明。
参数
描述
函数类型
选择函数类型,包括MATH(数学运算函数)、AGGREGATE(聚合函数)、STRING(字符串处理函数)、DATE(日期函数)、ANALYTIC(窗口函数)和OTHER(其他函数)。
数据源
选择函数关联的Lindorm数据源。
Lindorm数据库
选择函数所属的Lindorm数据库。默认为default。
资源组
选择执行函数注册操作的资源组。
说明只支持新版资源组(即Serverless资源组)。
责任人
选择函数的责任人。
类名
输入函数对应的实现类的完全限定类名。例如:
com.example.udf.MyFunction。资源列表
下拉选择函数关联的Lindorm File资源。
描述
(可选)输入函数的描述信息,便于其他开发者了解函数用途。
命令格式
(可选)输入函数的调用命令格式。例如:
function_name(param1, param2)。参数说明
(可选)输入函数参数的详细说明,包括参数名称、类型和含义。
返回值
(可选)输入函数的返回值说明,包括返回值类型和含义。
示例
(可选)输入函数的使用示例,帮助其他开发者快速了解函数的调用方式和预期结果。
在上方工具栏对函数保存并发布,只有发布后的函数才能在数据开发中使用。
使用函数
函数创建完成并发布后,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标函数后,右键选择使用函数。在当前节点编辑页面快速生成自定义函数名称,例如:example_function()。
管理资源与函数
通过Data Studio可视化方式上传的资源或创建函数后,在资源管理页面,可通过单击目标资源或函数,对资源或函数进行管理。
-
查看历史版本:单击资源或函数编辑页面右侧的版本按钮,您可查看、对比已保存或已提交的函数版本,获取不同版本的资源变更情况。
说明版本对比时,至少需选择两个版本进行比对。
-
删除资源或函数:鼠标右键单击目标资源或函数,选择删除按钮,删除资源或函数。
若需删除生产环境下该资源或函数,则需进行任务发布,将资源删除操作发布至生产环境,发布成功后,生产环境该资源函数才会同步删除。