资源管理

Data Studio的资源管理功能支持创建并管理MaxCompute、EMR、CDH、Flink的资源与函数,在数据开发或SQL查询中使用。

功能介绍

Data Studio的资源管理功能支持对资源和函数进行统一管理,不仅支持将存储在OSS对象存储或本地存储中的资源上传并创建,还可以将这些资源注册为函数,以便在数据开发节点中使用。在管理资源和函数时,资源管理功能仅支持管理通过资源管理模块创建的资源和函数。

image

前提条件

通过上传OSS文件方式创建资源时。

  • 已开通OSS并创建Bucket,将待上传文件存储至OSS Bucket中。基于OSS上传,需选择指定Bucket中的文件。因此,使用该方式创建资源前需先创建Bucket并存储相关文件,详情请参见简单上传

  • 已为操作上传文件的阿里云账号授予可访问目标Bucket的权限。为避免权限限制,上传文件前需提前为相关操作账号进行授权

使用限制

  • 资源大小:最大支持上传500MB的资源。

  • 资源发布:若您使用的是标准模式的工作空间,则需将资源发布至生产环境,发布后生产环境的项目才会存在该资源。

    说明

    开发环境和生产环境的数据源信息存在差异,查询对应环境的表、资源等操作前,请先明确相应环境的数据源信息。

  • 资源管理:DataWorks仅支持查看与管理通过DataWorks上传的资源。

支持的资源与函数

资源

资源管理支持通过可视化方式上传创建,创建的资源不仅可以在数据开发任务中使用,还可以创建为自定义函数。

数据源

资源

支持创建的方式

本地

OSS

MaxCompute

MaxCompute Python

编写好的Python代码,用于注册Python UDF函数。后缀为.py

image

image

MaxCompute Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

MaxCompute Archive

仅支持将.zip.tgz.tar.gz.tar为后缀的压缩文件上传为资源,通过资源名称的后缀区分压缩类型。

MaxCompute File

支持将任意类型文件上传为File资源,实际使用时请以各引擎支持情况为准。

EMR

EMR Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

image

image

EMR File

支持将任意类型文件上传为File资源,实际使用时请以各引擎支持情况为准。

CDH

CDH Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

image

image

CDH File

支持将任意类型文件上传为File资源,实际使用时请以各引擎支持情况为准。

Flink

Flink Jar

编译好的Java JAR包,用于运行Java程序。后缀为.jar

image

image

函数

支持通过使用资源来创建MaxCompute 、EMR、CDHFlink函数,这些函数可在数据开发SQL查询中使用。

功能入口

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 在左侧导航栏单击image,进入资源管理页面。

  3. 资源管理页面,单击image图标进行新建资源或函数。您也可以先新建目录,规划资源管理目录后,再右键单击相应目录,选择新建,创建资源或函数。

新建管理资源与函数

其他操作

克隆资源与函数

您可以通过克隆已有资源与函数快速创建新的资源与函数。

  1. 在左侧资源管理中,右键单击需要克隆的资源或函数,在弹出菜单中选择克隆

  2. 在弹窗中修改名称路径(或保留默认值),单击确认开始克隆。

  3. 克隆完成后,您可以在资源管理中查看克隆好的资源或函数,并编辑或修改其他参数信息。

版本管理

您可以通过版本管理的查看与对比功能,快速分析资源或函数版本差异并进行调整。

  1. 在左侧资源管理中,双击需要查看并进行版本管理的资源或函数名称,进入资源或函数编辑页。

  2. 单击资源或函数编辑页右侧的版本,在版本页面查看和管理开发记录发布记录信息。

    • 查看版本

      1. 您可以在开发记录发布记录页签中,找到需要查看的资源或函数版本。

      2. 单击操作栏中的查看,进入详情页查看资源或函数代码信息。

    • 对比版本

      您可以在开发记录发布记录页签中,对不同版本的资源或函数进行对比。下面以开发记录为例,为您演示对比操作。

      • 开发或发布环境对比:在开发记录页签中,勾选两个版本,单击上方的选择对比按钮,即可对比不同版本的资源或函数代码内容和调度配置信息。

      • 开发与发布或构建环境对比

        1. 开发记录页签中,定位到资源或函数的某个版本。

        2. 单击操作栏中的对比按钮,在详情页中选择与发布记录构建记录中的某个版本进行对比。

    • 下载版本

      仅支持下载已发布资源文件开发记录中的文件版本。您可在开发记录页签中找到目标版本,单击操作栏中的下载按钮,即可将该资源文件下载到本地。