资源(Resource)是MaxCompute的特有概念,手动业务流程也支持资源的上传和提交。

如果您想使用MaxCompute的自定义函数(UDF)或MaxCompute MR功能,需要依赖资源来完成。
  • ODPS SQL UDF:您在编写UDF后,需要将编译好的Jar包上传到ODPS。运行这个UDF时,ODPS会自动下载这个Jar包,获取用户代码,运行UDF。上传Jar包的过程就是在ODPS上创建资源的过程,Jar是ODPS资源的一种。
  • ODPS MapReduce:您编写MapReduce程序后,将编译好的Jar包作为一种资源上传到ODPS。运行MapReduce作业时,MapReduce框架会自动下载这个Jar资源,获取用户代码。

您也可以将文本文件、ODPS表以及.zip / .tgz / .tar.gz / .tar / jar等压缩包作为不同类型的资源上传到ODPS,在UDF及MapReduce的运行过程中读取、使用这些资源。

ODPS提供了读取、使用资源的接口。ODPS资源的类型包括:
  • File类型
  • Archive类型:通过资源名称中的后缀识别压缩类型,支持的压缩文件类型包括.zip/.tgz/.tar.gz/.tar/jar。
  • Jar类型:编译好的Java Jar包。
DataWorks新建资源就是add resource的过程,当前DataWorks仅支持可视化添加jar、python和file类型的资源。新建入口都一样,区别如下:
  • Jar资源是用户在线下Java环境编辑Java代码,打Jar包上传到Jar资源类型文件。
  • 小文件File类型资源是直接在DataWorks上编辑。
  • File类型资源新建时勾选大文件后,也可以上传本地资源文件。

新建资源实例

  1. 单击左侧导航栏中的手动业务流程,选择新建业务流程

  2. 右键单击资源,选择新建资源 > jar

  3. 按照命名规则在新建资源对话框输入资源名称,并选择资源类型为jar,同时选择需要上传本机的Jar包。

    说明
    • 如果此Jar包已经在odps客户端上传过,则需要取消勾选上传为ODPS资源本次上传,资源会同步上传至ODPS中,否则上传会报错。
    • 资源名称不一定与上传的文件名一致。
    • 资源名命名规范:1到128个字符,字母、数字、下划线、小数点,大小写不敏感,Jar资源时后缀是.jar。
  4. 单击提交,将资源提交到调度开发服务器端。

  5. 发布节点任务。

    具体操作请参见任务发布