Flink资源与函数

Data Studio支持可视化创建并管理Flink Jar资源,创建的资源可用于创建自定义函数或在数据开发。本文将介绍如何通过资源管理来创建Flink不同类型的资源和函数。

前提条件

  • 绑定全托管Flink计算资源,创建资源与函数均基于Flink计算资源进行相关操作。

  • 已完成资源文件的开发,文件可从本地上传。

创建并使用资源

资源说明

Data Studio资源与函数管理中,可以将本地资源通过DataWorks上传到Flink,用于在DataWorks中开发Flink作业,或用来创建Flink自定义函数

使用限制

上传资源需符合以下限制:

  • 资源大小:最大支持上传500MB的资源。

  • 资源发布:若您使用的是标准模式的工作空间,则需将资源发布至生产环境。发布后,生产环境的项目才会存在该资源。

    说明

    开发环境和生产环境的数据源信息可能存在差异,查询对应环境的表、资源等操作前,请先确认相应环境的数据源信息。

  • 资源管理:DataWorks仅支持查看与管理通过DataWorks上传的资源。

创建资源

Flink资源支持本地上传,创建好的资源可直接在数据开发中引用,也可以创建为函数使用。

  1. 在资源管理页面,创建资源打开新建资源和函数弹窗时,配置资源的类型、存储的路径以及资源名称

  2. 完成新建资源后,需要在资源内上传本地文件,作为文件来源。

  3. 在上方工具栏对资源保存发布,只有发布后的资源才能在数据开发中使用。

使用资源

完成资源创建后,在进行数据开发时,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标资源或函数后,右键选择引用资源。引用资源成功后,会显示##@resource_reference{"资源名称"}格式的代码。

说明

例如,Flink SQL Streaming节点显示的样式为##@resource_reference{"example.jar"}。各类型节点显示格式存在差异,请以实际界面为准。

除了直接使用资源外,还可将资源创建为函数,再在开发节点中使用。

创建并使用函数

函数说明

Data Studio资源与函数管理中,支持将资源注册为函数。在数据开发中,您可以使用Flink提供的内建函数Flink自定义函数

创建函数

  1. 在资源管理页面,创建函数打开新建资源和函数弹窗时,配置下拉配置函数的类型、存储的路径以及函数名称

  2. 单击确认,新建函数资源,并根据函数类型,配置函数的相关信息。

    配置Flink函数前,需确保已将Flink集群在DataWorks内创建为计算资源,并已上传创建Flink资源,以下为Flink函数参数说明。

    参数

    描述

    函数类型

    选择函数类型,包括MATH(数学运算函数)、AGGREGATE(聚合函数)、STRING(字符串处理函数)、DATE(日期函数)、ANALYTIC(窗口函数)和OTHER(其他函数)。

    Flink集群

    下拉选择已注册的Flink集群。

    资源列表

    Flink函数配置时,仅支持通过可视化界面操作,下拉选择Flink Jar资源。

    命令格式

    UDF的具体使用方法示例。

  3. 在上方工具栏对函数保存发布,只有发布后的函数才能在数据开发中使用。

使用函数

函数创建完成并发布后,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标资源或函数后,右键选择引用函数。在当前节点编辑页面快速生成自定义函数名称,例如:example_function()

管理资源与函数

通过Data Studio可视化方式上传的资源或创建函数后,在资源管理页面,可通过单击目标资源或函数,对资源或函数进行管理。

  • 查看历史版本:单击资源或函数编辑页面右侧的版本按钮,您可查看、对比已保存或已提交的函数版本,获取不同版本的资源变更情况。

    说明

    版本对比时,至少需选择两个版本进行比对。

  • 删除资源或函数:鼠标右键单击目标资源或函数,选择删除按钮,删除资源或函数。

    若需删除生产环境下该资源或函数,则需进行任务发布,将资源删除操作发布至生产环境,发布成功后,生产环境该资源函数才会同步删除。