Lindorm资源与函数

更新时间:
复制 MD 格式

Data Studio支持创建并管理Lindorm File资源和Lindorm Function函数。您可以通过资源管理功能上传本地文件至Lindorm,并将其注册为函数以便在Lindorm Spark节点中使用。本文介绍如何通过资源管理创建Lindorm资源与函数。

前提条件

  • 已绑定Lindorm计算资源。创建Lindorm资源与函数均基于Lindorm计算资源进行相关操作。

  • 已完成资源文件的开发,文件可从本地上传。

  • 已创建新版资源组(即Serverless资源组)。

创建并使用资源

资源说明

Data Studio资源管理中,您可以上传本地文件至Lindorm,创建Lindorm File资源。创建的资源可在Lindorm相关节点中引用,也可作为Lindorm Function函数的依赖资源。

创建资源

  1. 在资源管理页面,单击新建图标,选择新建资源 > Lindorm File

  2. 在新建资源面板中配置以下参数。

    参数

    说明

    文件来源

    选择文件来源方式。当前支持本地上传。

    文件内容

    单击点击上传,选择本地文件进行上传。

    存储路径

    选择文件的存储路径类型。支持以下方式:

    • OSS:将文件存储至OSS路径中。选择此项后,在下方选择目标OSS路径。

    • OSS 数据源:将文件存储至已配置的OSS数据源路径中。

    资源组

    选择执行资源上传操作的资源组。

  3. 完成新建资源后,需要在资源内上传本地文件,作为文件来源。

  4. 在上方工具栏对资源保存发布,只有发布后的资源才能在数据开发中使用。

使用资源

完成资源创建后,在进行数据开发时,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标资源后,右键选择使用资源。引用资源成功后,会显示--@resource_reference{"资源名称"}格式的代码。

除了直接使用资源外,还可将资源创建为函数,再在开发节点中使用。

创建并使用函数

函数说明

Data Studio资源管理中,支持将Lindorm File资源注册为Lindorm Function函数。Lindorm Function是注册在Lindorm中的自定义函数(UDF),创建函数时需要关联已上传的Lindorm File资源并指定类名。创建完成后,函数可在Lindorm Spark节点的SQL中使用。

创建函数

  1. 在资源管理页面,单击新建图标,选择新建函数 > Lindorm Function

  2. 单击确认,新建函数资源,并配置函数的相关信息。

    配置Lindorm函数前,需确保已将Lindorm集群在DataWorks内创建为计算资源,并已上传Lindorm File资源。以下为Lindorm Function参数说明。

    参数

    描述

    函数类型

    选择函数类型,包括MATH(数学运算函数)、AGGREGATE(聚合函数)、STRING(字符串处理函数)、DATE(日期函数)、ANALYTIC(窗口函数)和OTHER(其他函数)。

    数据源

    选择函数关联的Lindorm数据源。

    Lindorm数据库

    选择函数所属的Lindorm数据库。默认为default。

    资源组

    选择执行函数注册操作的资源组。

    说明

    只支持新版资源组(即Serverless资源组)。

    责任人

    选择函数的责任人。

    类名

    输入函数对应的实现类的完全限定类名。例如:com.example.udf.MyFunction

    资源列表

    下拉选择函数关联的Lindorm File资源。

    描述

    (可选)输入函数的描述信息,便于其他开发者了解函数用途。

    命令格式

    (可选)输入函数的调用命令格式。例如:function_name(param1, param2)

    参数说明

    (可选)输入函数参数的详细说明,包括参数名称、类型和含义。

    返回值

    (可选)输入函数的返回值说明,包括返回值类型和含义。

    示例

    (可选)输入函数的使用示例,帮助其他开发者快速了解函数的调用方式和预期结果。

  3. 在上方工具栏对函数保存发布,只有发布后的函数才能在数据开发中使用。

使用函数

函数创建完成并发布后,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标函数后,右键选择使用函数。在当前节点编辑页面快速生成自定义函数名称,例如:example_function()

管理资源与函数

通过Data Studio可视化方式上传的资源或创建函数后,在资源管理页面,可通过单击目标资源或函数,对资源或函数进行管理。

  • 查看历史版本:单击资源或函数编辑页面右侧的版本按钮,您可查看、对比已保存或已提交的函数版本,获取不同版本的资源变更情况。

    说明

    版本对比时,至少需选择两个版本进行比对。

  • 删除资源或函数:鼠标右键单击目标资源或函数,选择删除按钮,删除资源或函数。

    若需删除生产环境下该资源或函数,则需进行任务发布,将资源删除操作发布至生产环境,发布成功后,生产环境该资源函数才会同步删除。