资源管理

更新时间:
复制为 MD 格式

Data Studio的资源管理功能支持创建并管理MaxCompute、EMR(含EMR Jar、EMR File、Ray File等)、CDH、Flink的资源与函数,在数据开发或SQL查询中使用。

功能介绍

Data Studio的资源管理功能支持对资源和函数进行统一管理,不仅支持将存储在OSS对象存储或本地存储中的资源上传并创建,还可以将这些资源注册为函数,以便在数据开发节点中使用。在管理资源和函数时,资源管理功能仅支持管理通过资源管理模块创建的资源和函数。

image

前提条件

通过上传OSS文件方式创建资源时。

  • 已开通OSS并创建Bucket,将待上传文件存储至OSS Bucket中。基于OSS上传,需选择指定Bucket中的文件。因此,使用该方式创建资源前需先创建Bucket并存储相关文件,详情请参见简单上传

  • 已为操作上传文件的阿里云账号授予可访问目标Bucket的权限。为避免权限限制,上传文件前需提前为相关操作账号进行授权

使用限制

  • 资源大小:最大支持上传500MB的资源。

  • 资源发布:若您使用的是标准模式的工作空间,则需将资源发布至生产环境,发布后生产环境的项目才会存在该资源。

    说明

    开发环境和生产环境的数据源信息存在差异,查询对应环境的表、资源等操作前,请先明确相应环境的数据源信息。

  • 资源管理:DataWorks仅支持查看与管理通过DataWorks上传的资源。

支持的资源与函数

资源

资源管理支持通过可视化方式上传创建,创建的资源不仅可以在数据开发任务中使用,还可以创建为自定义函数。

数据源

资源

支持创建的方式

本地

OSS

MaxCompute

MaxCompute Python

编写好的Python代码,用于注册Python UDF函数。后缀为.py

image

image

MaxCompute Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

MaxCompute Archive

仅支持将.zip.tgz.tar.gz.tar为后缀的压缩文件上传为资源,通过资源名称的后缀区分压缩类型。

MaxCompute File

支持将任意类型文件上传为File资源,实际使用时请以各引擎支持情况为准。

EMR

EMR Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

image

image

EMR File

支持将任意类型文件上传为File资源,实际使用时请以各引擎支持情况为准。

Ray File

用于Serverless Ray节点的依赖文件(如多文件Python作业、配置或数据文件)。在节点中通过##@resource_reference引用。详情请参见EMR资源与函数

CDH

CDH Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

image

image

CDH File

支持将任意类型文件上传为File资源,实际使用时请以各引擎支持情况为准。

Flink

Flink Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

image

image

函数

支持通过使用资源来创建MaxCompute 、EMR、CDHFlink函数,这些函数可在数据开发SQL查询中使用。

功能入口

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到目标工作空间,单击操作列的快速进入> Data Studio,进入Data Studio。

  2. 在左侧导航栏单击image,进入资源管理页面。

  3. 资源管理页面,单击image图标进行新建资源或函数。您也可以先新建目录,规划资源管理目录后,再右键单击相应目录,选择新建,创建资源或函数。

新建管理资源与函数

其他操作

克隆资源与函数

您可以通过克隆已有资源与函数快速创建新的资源与函数。

  1. 在左侧资源管理中,右键单击需要克隆的资源或函数,在弹出菜单中选择克隆

  2. 在弹窗中修改名称路径(或保留默认值),单击确认开始克隆。

  3. 克隆完成后,您可以在资源管理中查看克隆好的资源或函数,并编辑或修改其他参数信息。

版本管理

您可以通过版本管理的查看与对比功能,快速分析资源或函数版本差异并进行调整。

  1. 在左侧资源管理中,双击需要查看并进行版本管理的资源或函数名称,进入资源或函数编辑页。

  2. 单击资源或函数编辑页右侧的版本,在版本页面查看和管理开发记录发布记录信息。

    • 查看版本

      1. 您可以在开发记录发布记录页签中,找到需要查看的资源或函数版本。

      2. 单击操作栏中的查看,进入详情页查看资源或函数代码信息。

    • 对比版本

      您可以在开发记录发布记录页签中,对不同版本的资源或函数进行对比。下面以开发记录为例,为您演示对比操作。

      • 开发或发布环境对比:在开发记录页签中,勾选两个版本,单击上方的选择对比按钮,即可对比不同版本的资源或函数代码内容和调度配置信息。

      • 开发与发布或构建环境对比

        1. 开发记录页签中,定位到资源或函数的某个版本。

        2. 单击操作栏中的对比按钮,在详情页中选择与发布记录构建记录中的某个版本进行对比。

    • 下载版本

      仅支持下载已发布资源文件开发记录中的文件版本。您可在开发记录页签中找到目标版本,单击操作栏中的下载按钮,即可将该资源文件下载到本地。