上传资源及引用

资源管理用于存储、管理代码研发过程中所需的文件,如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。

创建资源

  1. 在Dataphin首页,单击顶部菜单栏研发

  2. 按照以下操作指引,进入新建资源对话框。

    选择项目(Dev-Prod模式需要选择环境)->单击资源->单击新建image图标。

    image

  3. 新建资源对话框中,配置参数。

    参数

    描述

    类型

    选择上传文件的类型。系统默认支持上传file(.xls, .xlsx, .doc, .docx, .txt, .csv)、archive(.zip, .tgz, .tar.gz, .tar, .jar)、jarPythoncplus类型文件及其他(others)。

    • file:文本类型文件。通常用于任务需要读取的数据信息。

    • archive:压缩包类型文件。通常用于任务依赖的压缩包。

    • Python:Python类型文件。通常用于Python任务依赖的资源文件。

    • cplus:C++源代码文件类型。通常用于Impala任务注册UDF。

    名称

    填写资源的名称。命名规则如下:

    • 资源的名称在项目内不可重复且不可以数字开头。

    • 名称由数字、字母、下划线(_)、短划线(-)或半角句号(.)组成。

    • 名称长度最多200个字符且不少于3个字符。

    描述

    填写对资源简单的描述,1000个字符以内。

    上传文件

    根据已选的类型,选择上传文件

    计算类型

    选择资源的计算类型。

    • 计算引擎:选择计算引擎时,系统会将该资源上传到项目绑定的计算引擎上。例如,MaxCompute。通常用于创建计算引擎的UDF,上传JAR文件时,系统会调用引擎的add jar xxx.jar命令。

    • 无归属引擎:选择无归属引擎时,资源将会只上传到Dataphin。通常用于上传需要使用的文本资源文件。例如filearchive等类型。

    选择目录

    选择资源所存放的目录。若无所需目录,您可按照下图操作指引,填写您目录名称和选择目录所在位置进行创建。image

  4. 单击提交

  5. 提交备注对话框中,填写资源的备注说明,128个字符以内。

  6. 单击确定并提交,完成资源的创建。

    说明

    如果项目的模式为Dev-Prod,则您需要发布资源至生产环境。具体操作,请参见管理发布任务

引用资源

支持的引用方式

  • 完成资源上传后,您可以按照下图操作指引快捷的复制该资源的引用语句,进行计算任务的开发。

    image

  • 您也可以在计算任务中直接使用@resource_reference{"资源名称"}语句进行引用。

引用语句说明

@resource_reference{"资源名称"}引用语句,可以理解为将资源的文件路径进行变量的定义。例如,以下Python代码案例:

@resource_reference{"dataphin.xls"} # 引用dataphin.xls资源

# 导入xlrd模块。
import xlrd
wb = xlrd.open_workbook('dataphince.xls') # 打开excel
sh = wb.sheet_by_name('Sheet1') # 按工作簿定位工作表

# 遍历excel,打印所有数据
for i in range(sh.nrows):
    print(sh.row_values(i))

@resource_reference{"dataphin.xls"} 语句等同于dataphin.xls = "/path/to/dataphin.xls"语句,在后续的代码中,可以使用上传的资源名称(即变量名)dataphin.xls进行该资源的使用。