Data Studio支持可视化创建并管理Flink Jar资源,创建的资源可用于创建自定义函数或在数据开发。本文将介绍如何通过资源管理来创建Flink不同类型的资源和函数。
前提条件
已绑定全托管Flink计算资源,创建资源与函数均基于Flink计算资源进行相关操作。
已完成资源文件的开发,文件可从本地上传。
创建并使用资源
资源说明
在Data Studio资源与函数管理中,可以将本地资源通过DataWorks上传到Flink,用于在DataWorks中开发Flink作业,或用来创建Flink自定义函数。
使用限制
上传资源需符合以下限制:
资源大小:最大支持上传500MB的资源。
资源发布:若您使用的是标准模式的工作空间,则需将资源发布至生产环境。发布后,生产环境的项目才会存在该资源。
说明开发环境和生产环境的数据源信息可能存在差异,查询对应环境的表、资源等操作前,请先确认相应环境的数据源信息。
资源管理:DataWorks仅支持查看与管理通过DataWorks上传的资源。
创建资源
Flink资源支持本地上传,创建好的资源可直接在数据开发中引用,也可以创建为函数使用。
在资源管理页面,创建资源打开新建资源和函数弹窗时,配置资源的类型、存储的路径以及资源名称。
完成新建资源后,需要在资源内上传本地文件,作为文件来源。
在上方工具栏对资源保存并发布,只有发布后的资源才能在数据开发中使用。
使用资源
完成资源创建后,在进行数据开发时,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标资源或函数后,右键选择引用资源。引用资源成功后,会显示##@resource_reference{"资源名称"}
格式的代码。
例如,Flink SQL Streaming
节点显示的样式为##@resource_reference{"example.jar"}
。各类型节点显示格式存在差异,请以实际界面为准。
除了直接使用资源外,还可将资源创建为函数,再在开发节点中使用。
创建并使用函数
函数说明
在Data Studio资源与函数管理中,支持将资源注册为函数。在数据开发中,您可以使用Flink提供的内建函数和Flink自定义函数。
创建函数
在资源管理页面,创建函数打开新建资源和函数弹窗时,配置下拉配置函数的类型、存储的路径以及函数名称。
单击确认,新建函数资源,并根据函数类型,配置函数的相关信息。
配置Flink函数前,需确保已将Flink集群在DataWorks内创建为计算资源,并已上传创建Flink资源,以下为Flink函数参数说明。
参数
描述
函数类型
选择函数类型,包括MATH(数学运算函数)、AGGREGATE(聚合函数)、STRING(字符串处理函数)、DATE(日期函数)、ANALYTIC(窗口函数)和OTHER(其他函数)。
Flink集群
下拉选择已注册的Flink集群。
资源列表
Flink函数配置时,仅支持通过可视化界面操作,下拉选择Flink Jar资源。
命令格式
该UDF的具体使用方法示例。
在上方工具栏对函数保存并发布,只有发布后的函数才能在数据开发中使用。
使用函数
函数创建完成并发布后,在编辑数据开发节点时,在左侧导航栏单击资源管理,然后找到目标资源或函数后,右键选择引用函数。在当前节点编辑页面快速生成自定义函数名称,例如:example_function()
。
管理资源与函数
通过Data Studio可视化方式上传的资源或创建函数后,在资源管理页面,可通过单击目标资源或函数,对资源或函数进行管理。
查看历史版本:单击资源或函数编辑页面右侧的版本按钮,您可查看、对比已保存或已提交的函数版本,获取不同版本的资源变更情况。
说明版本对比时,至少需选择两个版本进行比对。
删除资源或函数:鼠标右键单击目标资源或函数,选择删除按钮,删除资源或函数。
若需删除生产环境下该资源或函数,则需进行任务发布,将资源删除操作发布至生产环境,发布成功后,生产环境该资源函数才会同步删除。