资源管理用于存储、管理代码研发过程中所需的文件,如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。
创建资源
在Dataphin首页,单击顶部菜单栏研发。
按照以下操作指引,进入新建资源对话框。
选择项目(Dev-Prod模式需要选择环境)->单击资源->单击新建图标。
在新建资源对话框中,配置参数。
参数
描述
类型
选择上传文件的类型。系统默认支持上传file(.xls, .xlsx, .doc, .docx, .txt, .csv)、archive(.zip, .tgz, .tar.gz, .tar, .jar)、jar、Python、cplus类型文件及其他(others)。
file:文本类型文件。通常用于任务需要读取的数据信息。
archive:压缩包类型文件。通常用于任务依赖的压缩包。
Python:Python类型文件。通常用于Python任务依赖的资源文件。
cplus:C++源代码文件类型。通常用于Impala任务注册UDF。
名称
填写资源的名称。命名规则如下:
资源的名称在项目内不可重复且不可以数字开头。
名称由数字、字母、下划线(_)、短划线(-)或半角句号(.)组成。
名称长度最多200个字符且不少于3个字符。
描述
填写对资源简单的描述,1000个字符以内。
上传文件
根据已选的类型,选择上传文件。
计算类型
选择资源的计算类型。
计算引擎:选择计算引擎时,系统会将该资源上传到项目绑定的计算引擎上。例如,MaxCompute。通常用于创建计算引擎的UDF,上传JAR文件时,系统会调用引擎的
add jar xxx.jar
命令。无归属引擎:选择无归属引擎时,资源将会只上传到Dataphin。通常用于上传需要使用的文本资源文件。例如file、archive等类型。
选择目录
选择资源所存放的目录。若无所需目录,您可按照下图操作指引,填写您目录名称和选择目录所在位置进行创建。
单击提交。
在提交备注对话框中,填写资源的备注说明,128个字符以内。
单击确定并提交,完成资源的创建。
说明如果项目的模式为Dev-Prod,则您需要发布资源至生产环境。具体操作,请参见管理发布任务。
引用资源
支持的引用方式
完成资源上传后,您可以按照下图操作指引快捷的复制该资源的引用语句,进行计算任务的开发。
您也可以在计算任务中直接使用
@resource_reference{"资源名称"}
语句进行引用。
引用语句说明
@resource_reference{"资源名称"}
引用语句,可以理解为将资源的文件路径进行变量的定义。例如,以下Python代码案例:
@resource_reference{"dataphin.xls"} # 引用dataphin.xls资源
# 导入xlrd模块。
import xlrd
wb = xlrd.open_workbook('dataphince.xls') # 打开excel
sh = wb.sheet_by_name('Sheet1') # 按工作簿定位工作表
# 遍历excel,打印所有数据
for i in range(sh.nrows):
print(sh.row_values(i))
@resource_reference{"dataphin.xls"}
语句等同于dataphin.xls = "/path/to/dataphin.xls"
语句,在后续的代码中,可以使用上传的资源名称(即变量名)dataphin.xls
进行该资源的使用。